APP下载

大数据环境下开源情报分析方法研究

2021-04-11苏林茂王东仁赵洪坤

甘肃科技 2021年17期
关键词:情报信息开源情报

苏林茂,王东仁,赵洪坤

(31656 部队,四川 乐山 614221)

计算机网络在情报搜集、加工、储存与提供科技信息服务方面展示出极大的优越性,大大提高了开源情报工作的价值和地位。就科技发展而言,随着大数据的广泛应用,互联网领域的外延性更大,技术集成度更高,普及程度更广,进而使得信息的流转和传递更加迅速。随着我国社会经济和对外开放的不断发展深化,在国家安全、社会稳定、经济发展等一系列领域都将面临更加严峻的全球化挑战,在应对挑战的过程中,开源情报工作发挥了举足轻重的作用。如今大数据环境下开源情报在新冠疫情中的信息传播和应急协作发挥了不可替代的作用,社交媒体信息帮助警方调查案件。同样在大数据的支撑下,军事智能化的发展是军队战斗力的助推器,拥有自主识别能力的无人作战平台,对各类数据源进行自动化识别,判读分析作战区域内各类目标的属性、运动轨迹等有效信息,并按威胁程度大小自动分类生成目标清单,都是信息挖掘和采集技术运用到情报工作中的具体表现。通过把复杂的工作交给机器处理,增强了面对未来信息化战场的感知能力,实现了作战协同和自同步。

1 大数据环境下开源情报分析的重要性

从国家安全方面看,随着信息数据的几何级增长,开源情报的价值与日俱增。研究显示,2020 年全球使用互联网的人数已增长至45.4 亿,全球约60%的人口已接入移动互联网,普通互联网用户平均每天在线6h43min。开源情报的大部分来源已扩展至深度网络、技术数据、商业图像、灰色文献等新兴信息源。同时开源情报研究分析与学术研究、智库机构之间的关系越来越密切,有利于准确地把握社会变化的态势。特别是在国外已有很多成功案例。较之传统情报,开源情报更加全面综合且系统化,更能够显示变化的趋势和规律,正成为战略决策、科研活动、经济调控、社会维稳、军情研究的强大支持[1]。比如在军事上开发的目标识别跟踪系统,就是着眼基于人工智能和大数据平台的系统环境,提升了战场空间中对敌情态势的准确感知,提高了信息的处理能力,缩短了由信息到情报的转换周期,为指挥员的正确决策提供了高效有力的保障。

从社会经济方面看,大数据在电信、智慧城市、电子商务及社交娱乐等行业已经出现规模化应用,我国大数据市场将进入高速发展时期。大数据真正的价值体现在从海量且多样的内容中提取用户行为、用户数据、特征并转化为数据资源,对数据资源进一步加以挖掘和分析,增强用户信息获取的便利性,实现从产品价值导向到以客户体验价值为中心导向的转换,客户体验的提升也正是激发信息消费的根本原因[2]。大数据的应用带来的最明显效果是实现了智能决策。各大网络运营商通过大数据实现了精准营销。根据工信部2019 年的数据统计显示:应用大数据后实现智能决策的企业占比高达56.7%。现在认知计算和机器学习等技术的兴起又进一步推动了智能化大数据对企业决策的支撑。同时,企业应用大数据后提升了运营效率,包括:更好的管理风险、创造了新的业务收入、提升了客户满意度以及增强生产能力。那么对于情报信息分析来说,对海量的数据进行整理和分析解读,并将处理过的信息转化为情报,用来准确的满足用户需求更显得尤为重要。

2 大数据环境下的情报工作面临的挑战

在大数据的影响下,传统的情报分析已经不再适应当今的大环境,这就要求传统的情报信息分析做出符合当今时代大背景下的改变。大部分文献资料普遍数字化,仅需要通过搜索引擎或者诸如Shodan、Creepy 等开源网络情报工具就能找到所需的信息,这虽然使得开源情报工作更加便利,但数据处理能力的不足会经常导致情报产品的质量不高。比如分析人员通常只能处理12%~30%的原始数据信息,其余信息则因过期而失去利用价值。数据处理能力的矛盾变得越来越尖锐。

现代社会每时每刻都在产生信息,面对海量的数据,数据挖掘采集技术在开源情报工作中有着不可或缺的地位。但是如何将其运用在时间工作中,以适应大数据环境下对开源情报的需求,如何分配工作权重,如何避免过度依赖技术手段而降低主观判断,都是有待解决的问题。

在情报分析的整个流程和结果不仅需要对自己分析成果的安全性进行增强,还要提升信息防护能力,保障情报产品不被不法之人利用。同时在分析数据的可视化程度上做的还不够,需要适应时代的发展并且紧跟大数据的发展,不断把握以及预测时代发展规律,最终才能满足用户多种多样的动态需求。总之,在大数据环境下的情报分析工作,要想充分利用大数据技术带来的机遇,使情报产品更为精准高效,不仅需要技术、方法、工具方面的创新,还在组织结构、工作流程以及人才培养方面面临着挑战。

3 开源情报分析方法的深度挖掘

3.1 提高分析可视化程度

大数据时代,需要研究和挖掘情报信息分析工作的深层的含义,这样才能把握情报信息分析内容的精髓。比如情报信息分析内容的可视化有三个方面的内容:第一个方面是收集信息过程的可视化。情报信息分析必须要重视收集信息过程的可视化,必须保证收集信息的过程具有目的性和组织性,虽然诸如网络爬虫技术、大数据处理技术、网页处理技术、检索排序技术、自然语言处理技术等能提供快速、高相关性的信息服务。但由于数据基数庞大,也不能去盲目地进行信息的收集。首先要去分析什么是客户需要的,什么是客户重点关注的,要根据客户的需求来选择相关的信息进行收集。除此以外,要做好信息收集还需要信息分析人员根据客户潜在的需求和以往的信息进行收集并整理整编和分析研判。第二个方面就是分析信息过程的可视化。主要是让内部分析人员或者非分析的工作人员都可以看到信息分析的标准和全部的环节等,这对于信息用户而言是很重要的,用户如果看到分析的标准和分析技术相关环节等内容,就会对情报信息分析行业产生信任感。第三个方面是信息分析成果的可视化。这个过程是决定信息是否被用户采纳的重要过程,对于信息用户而言,结果的可视化和分析成果是否准确还有分析效益如何,都会影响客户的采纳度。但是如果结果的可视化对于客户而言,分析效益低或者是准确性不高,那么客户会拒绝采纳此信息。

3.2 善于使用开源数据挖掘工具

大数据环境下的数据是非结构化,现有检索方法效果甚微,只有数据挖掘技术才能进行高效的搜索、分析、处理。因此要善于使用数据挖掘工具,其中具有数据自动化信息收集工具SpiderFoot,可运行在Linux 和Windows 的开源网络情报工具。它通过命令行界面与简单而交互式的GUI 界面集成在一起,可以获取相关目标的各种信息;从社交网络平台和图像服务主机上收集用户地理网址相关信息的Creepy 工具。它们都使用Python 语言开发,可以跨平台上运行。

3.3 提升信息分析的安全性和竞争性

在大数据环境下需要提高信息分析成果的安全性,在保护大数据方面,要严格管控情报信息收集的入口,尤其是二次信息数据。同时,在保护数据和事务日志,输入验证,访问控制以及实时保护隐私。尽管在多个阶段进行加密可以确保数据的机密性,完整性和可用性,但如果不做好安全性的防范,很容易产生不可预估的后果。如今信息分析成果的安全理论研究和安全技术以及软件的开发都在不断发展与进步中,而情报信息分析行业最终会在激烈的网络攻防中占据优势。情报信息分析的最终成果将会形成情报策略,会具有一定的竞争性,同时在今后的情报分析工作中,如何设定一个全新的评价指标,对于情报产品的竞争性和情报行业的发展是有一定作用的[3]。情报分析人员也要积极致力于在不牺牲数据隐私性的前提下促进创新的大数据最佳实践。

4 开源情报信息分析的服务策略

4.1 建立基于大数据的开源情报分析与服务系统

情报分析与服务系统的建立有利于提高情报服务的精准性,是为用户提供服务的技术支撑。从技术层面上讲,主要包括大数据信息计算分析框架、多源异构信息数据综合处理、分布式信息处理应用服务等[4]。其中大数据信息计算分析框架技术提供海量数据处理的平台,为相关信息大数据的实时、动态、精准的分析和处理提供支撑。多源异构信息数据综合处理技术可根据信息来源的不同格式和种类,提取情报大数据所需的关键要素,提高情报信息处理的实时性和效率。分布式信息处理应用服务技术进行分布式部署,提供信息分析人员的协同工作及情报分析过程中的信息共享,保证信息分析服务效率的最大化。

4.2 提供精准的预测服务

情报信息分析工作的核心和重点都是分析预测的准确性,通过定性分析法和定量分析法,从已知的信息中分析预测,并从用户的未来发展趋势和方向进行追踪,形成分析预测模型。需要把握以下几个方面,首先是信息来源的真实性,预测的准确与否,在于对信息的真实性和准确性的把握程度,情报分析的宗旨是求真务实,同时也要重视搜集信息情报的全面性和连续性。二是情报分析的准确性,分析人员要深刻理解情报分析“去粗取精,去伪存真,由此及彼,由表及里”的十六字方针。三是预测方法的选择,根据预测对象的目的、要求、方向等,选择适合的预测方法往往更能把握事物的关键和重点。四是情报分析的能力性,情报分析人员对信息情报的捕捉能力、分析研判能力、信息的提炼和推理能力、信息认知水平能力,在情报预测的服务中所起的作用是不容忽视的。

大数据环境下的开源情报信息服务更注重于发现客户需求下的隐藏规律,并且利用这些被发现的规律去探索用户未来需求,在这个基础上,还会运用技术手段,对用户需求进行分析,整理出不同的用户需求特点并做好分类,这样做的目的也是为了预测用户未来需求,为用户及时提供所需的情报信息服务,其中最重要的工作目的就是探询用户未来的需求[5]。

4.3 进行精准的服务评估

如今在大环境的影响下,需要情报服务机构建立一个科学的评估体系,这样才能客观地反映情报信息服务机构发挥的重要作用。情报信息服务机构的评估体系,有利于对服务效果进行精准评估,有利于反映其产生的经济社会效益,有利于争取到政策的支持,从而改变被社会边缘化的现状。所以说,建立一个科学的精准的评估体系对情报信息行业的发展是有着一定意义的。不仅如此,情报信息行业还可以根据服务评估找出自身不足,从而加快自身建设,更好地为用户服务,形成合作共赢的良好发展趋势[6]。

4.4 着力培养情报分析人才

情报分析工作是严谨复杂的智力活动,对情报分析人才的知识、技能、意识、道德四个方面研究大数据环境下情报分析人才素质结构,是具有学术型和实践型的多学科理论基础的复合型人才。情报分析人才的培养是长期性持续性的工作。如国外系统培养一个情报分析员至少需要8 年时间,因此要提高情报服务的精准性,情报分析人员是关键,决定着情报服务的最终质量,也是情报服务策略的基础。

5 结束语

综上所述,情报分析作为情报学三大重点研究领域之一,是国家及社会重大决策规划中的“耳目”和“尖兵”[7]。注重研究改善大数据环境下的开源情报的分析方法,使得情报分析变得更为精准与高效,更加具有安全性和竞争性以及预测性,特别是针对尚未受到足够重视的公开来源情报的挖掘。信息技术必须作为情报的倍增器加以管理和开发,这样才能体现通过精准的情报信息分析带来的重要作用和社会经济效益。

猜你喜欢

情报信息开源情报
情报
情报
情报
五毛钱能买多少头牛
大家说:开源、人工智能及创新
开源中国开源世界高峰论坛圆桌会议纵论开源与互联网+创新2.0
浅谈新时期科技情报信息工作的重要性
开源计算机辅助翻译工具研究
交接情报
我国情报信息主导警务模式应用中的问题与对策探索