APP下载

警用智能分析模型平台的设计与应用

2022-08-17汪宁吴坤

警察技术 2022年4期
关键词:业务人员分析模型可视化

汪宁 吴坤

1.公安部第一研究所 2.宁夏回族自治区公安厅

引言

近年来,各级公安机关紧紧围绕实战需求,积极探索运用大数据、人工智能等技术,在分析研判、预测预警等方面研发了相关应用系统及模块,取得了一些突破,积累了一定的经验。但面对公安工作智能化转型升级的新形势,各级公安机关面向多场景分析、可视化建模方面需求逐步增加。因此,设计构建具有推理能力、决策能力的智能分析模型平台,实现数据内在价值的挖掘和释放,促进警务工作与智能分析技术有机融合,不断提升警务工作智能化水平是公安信息化发展的迫切需求。

文献 [1~5]从大数据建模方面开展了相关研究。其中文献[1]在警务大数据平台建设中提出了智慧计算服务思想,文献[2]在大数据警务实战平台建设中设计了智慧应用体系,文献[3]提出了大数据技术在公安业务场景下的应用,文献[4] 探讨了智慧警务在大数据环境下的公安信息化建设模式,文献[5]从标签角度开展智能化模型应用研究。相关研究未针对面向公安应用的模型全生命周期管理、可“众创共享”的智能分析模型平台开展相关研究及设计。文献[6]开展公安数据建模方法的研究,提出了基于SparkSQL实现模型可视化构建方式,该方式对业务人员技术能力要求较高,未能有效解决模型分析技术与业务深度融合问题。

因此,本文开展了警用智能分析模型平台的设计与应用研究,提出了基于“四横三纵”体系的总体架构,设计了基于大数据、人工智能的技术架构,为用户提供了模型全生命周期管理、可“众创共享”的建模平台,在实战中进行了初步试用应用,并扩展设计了典型应用场景。

一、需求分析

当前公安行业已建设了部分基于智能模型的分析系统/模块,基于现有的业务要素开展智能分析工作,初步实现了特定条件下的智能分析、预警预知,在服务实战方面发挥了积极作用。但总体来看还处于初级阶段,缺乏专业模型构建平台,且在模型构建的适用性、便捷性、扩展性、共享性等方面还需要进一步提升。

(一)模型构建技术与业务深入结合

现有智能分析模型的构建和实现主要由业务人员提供思路,技术人员通过代码实现。业务人员精通业务,但不熟悉技术,技术人员更关注技术层面,对业务知识仅是机械性的接收。因此,需将业务人员和技术人员的技术能力和业务能力深度结合来优化完善模型,以最新的技术,贴合实战需求,提升模型的业务适用性。

(二)模型开发简单方便

现阶段智能分析模型的构建主要侧重于技术层面,依托大数据和人工智能等技术方法来实现,需要具备专业计算机知识的人员来开发完成,缺少便捷化的模型操作工具,业务人员参与的门槛高。因此,在模型开发方面需提供可视化工具,通过对模型算子的托拉拽等方式简化模型开发方式。

(三)模型调整方便快捷

目前的模型大部分是针对特定对象,结合指定的业务场景,基本上是将公安业务经验提炼形成模型规则来建立业务模型,进行比对分析,模型类别单一、层级较低,且模型规则固定,阈值不可调整,一旦外部形势变化,针对特定场景及特定条件下的旧的业务规则将会“失灵”。因此,需提高模型的扩展性,模型能够依据外部形势及数据变化进行及时的动态调整。

(四)模型扩展众创共享

模型的构建从一定程度上是业务知识的总结提炼和表达,因此高质量的模型需要参与人员对业务有全方位较深入的理解,通过协作共享、众智众创,充分发挥业务人员建模能动性,才能使模型不断迭代完善,打造精品模型,有效支撑上层智能应用体系。

因此,本论文按照“平台智能化、服务可编排、流程可视化、操作模块化、模型可共享”的总体设计思路设计和实现了警用智能分析模型平台(以下简称“智能分析模型平台”),快速实现从业务知识到智能模型的转化,并以多样化的应用形态对外服务,打通了业务人员以及技术人员交互协作的高速通道,降低了模型构建的门槛,实现模型从生成到应用的一站式服务。

二、平台架构设计

(一)总体架构

智能分析模型平台总体架构为“四横三纵”的设计思路,“四横”是指基础支撑层、数据资源层、模型服务层、应用展示层,“三纵”是指大数据标准体系、信息安全体系和运行维护体系。

其中,基础支撑层是智能分析模型平台运行的基础和保障,包括网络资源、计算资源、存储资源。

数据资源层是智能分析模型平台的研究来源,平台模型的搭建需汇聚各种来源的原始数据,按照智能分析模型的业务需求,对各类来源的数据按照业务属性进行分级分类梳理,建立涵盖全面丰富的模型数据应用分级分类体系,为后续模型特征提取及应用提供源头支撑。

模型服务层是智能分析模型平台的核心,该层将底层通用算法集成到平台中供上层直接调用,并面向实战应用提供多类智能分析模型集。在该层还提供模型搭建流程和模型调度服务,保证在计算资源和存储资源允许的情况下,对模型进行有效管理,既支持用户按需创建二次开发,快速构建新模型,提供完备的模型管理功能。同时,建立模型调度流程管理,确保模型之间能协同工作,满足业务流和数据流的正常运转。

应用展示层是智能分析模型平台的应用实战输出层,直接面向用户,是展示模型分析研判、预测预警能力和战果的最直接方式。应用展示包括模型的全生命周期管理和模型对外应用服务。

(二)技术架构

智能分析模型平台技术架构包括五层,分别是存储层、计算层、模型层、服务层、展现层。

存储层是智能分析模型平台存储各类结构化、非结构化及半结构化数据所使用组件,包括分布式文件系统(HDFS)、列式数据库(HBase)、关系型数据库(MySQL)。

计算层是智能分析模型平台计算的基础框架,采用主流的大数据分析框架,包括流式计算Spark、面向大数据并行处理模型MapReduce、用于各类机器学习算法编程的计算框架TensorFlow。

模型层是智能分析模型平台的核心部分,包括数据预处理(数据接入、数据清洗、数据组织)、特征工程(特征构建、特征抽取、特征转换)、支撑算法(统计分析算法、机器学习算法、文本分析算法)、模型预测评估(协同过滤、推荐、结果评价)以及部分深度学习算法,并在此基础上构建面向大规模机器学习算法的分布式计算框架、核心算法库。同时,为将大数据分析计算流程和机器学习计算流程所需要的ETL、模型训练、评估和预测整合成流水线,并提供可交互、可配置、可编排的流程,帮助用户快速构建和优化大数据分析模型,在平台中通过任务调度框架实现基于任务调度驱动的计算输出,从而实现“模型可编排、运行即验证、流程可视化”。

服务层是基于微服务、Spring Boot等技术架构,对平台服务按照业务属性进行拆分,提供数据服务、规则编排服务、算子服务、任务服务、文件服务、可视化服务、平台管理服务,并基于Spring Cloud实现的微服务架构中自有的配置管理、服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等组件,实现模块松耦合、应用开发更便捷,从而确保搭建一个高可用、可扩展、可维护、可伸缩的分布式智能分析模型平台。

展现层以可视化的界面展示方式,支持传统Web技术、前后端分离技术、多维度多要素的展现模式构建面向多类展现形式的Web页面,满足不同应用场景。

三、平台应用服务功能设计

为解决智能模型建设过程中存在的技术业务难结合、模型应用构建门槛高、缺乏便捷的操作入口、缺乏协作共享能力等痛点问题,按照统一的技术规范,打造集数据预处理、模型定义、模型编排、模型训练、模型发布、模型超市为一体的智能分析模型平台。

智能分析模型平台为没有计算机技术背景的业务人员通过拖拉拽等可视化方式选择数据资源、算法,实现搭积木式的模型快速构建,并依托模型调度工具在模型运行引擎计算执行。作为模型应用的桥梁,打通了业务人员以及技术人员交互协作的高速通道,降低了模型构建的门槛,实现模型从生成到应用的一站式服务。

智能分析模型平台主要功能包括以下几个部分:

(一)模型定义

通过可视化拖拽方式定义模型。模型定义包括模型注册、模型分类、资源申请、算法选择。模型注册信息包含模型名称、版本、模型功能描述、算子依赖关系、输入和输出数据集定义等信息;模型分类包括公有模型、私有模型和共享模型;资源申请可申请计算资源、数据资源、算法资源;算法选择可根据模型构建所需的各类资源情况和业务场景,动态选择并及时调整来确定合适的算法满足需求。

(二)模型编排

在可视化界面通过拖拉拽的方式将算法、模型及底层数据服务等编排成实现某一具体业务功能的执行流程,同时在模型编排时支持协同操作。通过模型编排生成的业务包可以添加到模型服务目录,实现基于该模型的引用。也可以将模型添加到模型仓,作为新的模型服务提供二次编排的能力。

(三)模型训练

通过界面对已经发布的模型进行测试及调整。平台支持以数据处理、算法、模型为最小单元的调试功能,可通过单步执行查看每一个最小单元的执行结果是否符合预期,在某个单元输出结果不符合预期的情况下,可以中止调试,直接在界面上进行修改(重新编排),修改完成后的业务流程可以再次发布并调试,并在平台中引入模型的质量评估机制,对模型进行价值评价,为模型优化完善建言献策,直到整个模型的执行结果及效能符合预期,减少了模型构建的周期。

(四)模型发布

在可视化界面上已经编排完成的业务流程生成模型,可分发到指定执行环境(通常是开发测试环境),并按照指定执行环境对模型进行打包。

(五)模型调度

提供完备的调度管理功能,可以实时查看模型调用的次数、频率、周期、占用情况、执行结果及历史情况,启动、暂停、终止各类模型的执行。

(六)模型超市

为业务人员提供模型的可视化管理及操作界面,实现模型应用的生命周期管理,汇聚各类定制应用模型,为业务人员提供模型沟通、分享、交流的统一入口,为模型众创共享提供支撑。

(七)模型应用

根据各地信息化建设进度及应用场景不同,提供多种不同的应用形态对外提供应用服务,包括结构化模型结果集、开放式API标准接口服务集、离线部署包以及定制化的智能模型应用模块等4种应用形态。

通过搭建智能分析模型平台,可实现模型的全生命周期管理,让业务人员全程参与到模型的构建、优化、发布、上线、下线的全过程,确保模型构建的流程可视化、数据可视化及管理可视化。既能控制模型的动态调度,也能满足多样化的应用场景需求。

四、典型应用场景

警用智能分析模型平台已初步研发完成,为满足实战需求,已初步应用于部省两级业务部门,实现了智能模型的快速构建及全生命周期管理,完成对数据的深度挖掘和高效建模,为人员管控、分析研判、案线核查等第三方应用提供分析结果推送服务。通过平台落地应用,促进了公安数据资源业务化、标准化、实战化,充分发掘了数据信息的隐藏业务价值。下一步将继续扩大试用场景和范围,提供跨警种模型构建服务,实现模型构建“众创共享”的应用模式。

五、结语

对犯罪活动进行提前分析研判、预防和精准打击是公安工作中最为重要的研究内容之一。本文从实战需求出发,在大数据和人工智能技术背景下,依托统计建模、数据挖掘、机器学习的方法,针对当前警务应用中模型构建的痛点问题,为用户提供了模型全生命周期管理、可“众创共享”的智能分析模型平台,实现从业务知识到警务智能模型的转化,以多样化的应用形态对外服务,并在实战中进行了初步试用应用,扩展设计了典型应用场景,为智能警务建设奠定良好的基础。

猜你喜欢

业务人员分析模型可视化
基于BERT-VGG16的多模态情感分析模型
基于CiteSpace的足三里穴研究可视化分析
思维可视化
基于CGAL和OpenGL的海底地形三维可视化
“融评”:党媒评论的可视化创新
浅谈提高业务人员素质的主要途径
90%的奶粉企业要瘦身,谁会被裁掉?
快消品行业业务人员流失的原因与影响浅析
全启发式语言分析模型
基于Lagrange方法的直升机地面共振分析模型