北京道达天际科技有限公司 北京 100049

引言

随着互联网在全球范围内的迅速发展，可供人们利用的网络信息飞速膨胀，互联网已经成为人们取之不尽，用之不竭的公开来源信息资源宝库。开源信息的价值与日俱增，在各类数据体系中占据相当大的比重，其发挥的作用也越来越大，正成为分析决策、科研活动、技术研究的强大支持。信息挖掘技术不断革新的今天，已经逐渐摆脱了几十年前人工分析信息和收集信息的模式，计算机智能算法、大数据可视化、知识图谱等技术的引入，极大地增强了信息处理能力，同时也对信息价值的挖掘和利用产生深远影响。

面向现代社会对互联网开源信息采集与分析挖掘应用的迫切需求，结合自然语言理解、知识图谱、时空分析等关键技术，构建互联网开源信息采集与分析的技术体系，支持从社交媒体、门户网站、新闻媒体、论坛等各类互联网信源中自动采集关注的信息，支持对开源数据进行清洗治理、自动抽取、事件发现、关联分析、综合展示等处理和分析，支持各类业务信息监测预警、态势分析、综合研判，满足互联网开源数据分析挖掘应用的能力体系需要，为正确认识、快速处理和有效使用互联网开源信息奠定基础。

1 平台设计

1.1 技术框架设计

互联网开源信息智能采集与分析平台按照“云+端”架构来进行设计，可以划分为三层，分别是资源层、服务层、应用层，如图1所示。

图1 技术架构设计

（1）资源层