APP下载

未来网络大数据发展方向探讨

2021-04-20吴雨璇程新洲宋春涛中国联通研究院北京100048

邮电设计技术 2021年3期
关键词:海量架构联网

吴雨璇,程新洲,宋春涛,成 晨(中国联通研究院,北京 100048)

1 概述

2019 年6 月5G 商用牌照的发放标志着中国正式进入5G 时代。回顾通信产业发展历程,从第1代模拟蜂窝系统的诞生,到如今第5 代的兴起和第6 代的布局研发,大致每10年一次的迭代升级都是一次质的飞跃,同时也带来了市场规模的指数级扩张和更强的技术溢出,不断推动移动通信产业与各行各业更深入的融合。而今,人类正处在一场由技术驱动的、无处不在的数字化和智能化时代,更快的传输速度、更低的时延和海量的数据连接不仅对个人生活产生深远的影响,同时也给社会和产业发展带来巨大的变革。随着科技的快速进步和现代网络的加速演进,由下一代网络开启的新时代越来越近。依托未来网络,大数据及其生态将呈现出很多新特征,同时也会带来很多新机遇与挑战。届时应该思考如何精准采集、深度融合、智能挖掘未来网络所产生的海量数据资源,进而打造未来网络大数据智能化新生态,全面赋能生产生活,有力推动社会智能化发展进程。

2 未来网络的特征及发展趋势

随着AR/VR、大视频、工业互联网等新兴应用蓬勃发展,网络正面临着新一轮的机遇和挑战,未来网络将渗透到社会和生活的方方面面,发挥其最大的价值。其中,大数据、物联网、AI 等技术将作为强有力的驱动力推动网络不断向更高的要求和更多元化的需求加速转型。在这样的环境下,未来网络将不断向云化、灵活化和泛在化方向有序演进,如图1 所示,同时呈现出如下特性。

图1 未来网络发展趋势示意图

a)云化。云化及虚拟化是数字化转型的先行基础。随着NFV/SDN 技术的成熟,网络架构已从以厂商专用设备为主的传统网络架构向以云为主的网络架构转变。未来海量数据将会对集中计算、存储等能力提出更高的要求,为了更好地满足应用场景需求,必须要实现云网的深度融合。此外,只有CT 与IT 协同发展、相互融合,共同支撑信息社会的发展,未来才有可能实现随时随地利用信息。

b)灵活化。灵活敏捷的网络技术及部署是面向未来多元化、差异化需求的基本要求。数据爆发式增长将会带来更多新业务需求,而未来网络作为社会的重要基础设施,需要满足各类场景的差异化需求。网络切片技术将最大化网络对外部环境、需求及业务场景的适应性。

c)泛在化。泛在连接是面向泛终端、多场景服务的未来网络基本形态。随着通信网络的不断演进,“泛在”理念不断深化,更多且更复杂的未知维度会逐步融入未来网络,不断扩展未来网络的发展空间,从而形成面向“人-物-网-境”(这里的“境”是由时、空、情景相交而成的智慧环境)的通信、计算、控制和意识融合的泛在体系,实现真正的“无所不在、无所不能、无所不包”。

3 未来网络大数据新生态架构

3.1 未来网络数据典型特征

随着下一代网络逐步向云化、灵活化和泛在化方向加速演进,未来网络数据将呈现出以下典型特征。

a)数据量急剧增长。未来开启的万物互联、万物智联的新时代将会导致更快更多的连接和数据积累,从而使数据规模呈几何级快速扩张。据IoT Analytics报告显示,预计到2025 年物联网连接数将达270 亿。未来,海量数据的背后将隐藏更大的价值。

b)数据复杂度增加。未来网络面向对象的变化导致其描述数据呈现维度和复杂度的指数级增长。目前的数据主要以“人-人”关联为主,但随着未来物联网的发展,“人-物”“物-物”之间的连接产生的数据类型将会进一步丰富,数据采集对象也会越来越多(如互联汽车、无人机、机器人、可穿戴设备等),新时代背景下催生的车联网、无线医疗、智能制造、智慧能源等新型应用也将会创造更丰富的数据维度,像视频监控、社交媒体等场景下产生的如视频、图像等非结构化数据的比例必将大幅增加。

在这样的背景下,数据将从衍生物转变为重要且直接的生产要素,并成为数字化和智能化的重要基础。这些海量数据将会给人类的生活带来巨大改变,不仅为日常生活提供更多的便利,也为企业管理、网络应用等提供更有力的决策支持。同时,未来网络大数据的发展也将会积极促进整个社会的全面发展。因此,未来网络亟需依托大数据等智能技术引“智”并实现自动化管理,因为只有进行深度的智能化运营,才能充分发挥大数据的特点和影响力,使网络实现“无人驾驶”一样的高度自主自治。届时大数据平台架构的重塑和升级显得尤为重要。

3.2 未来网络大数据生态架构

未来网络大数据生态架构将基于未来网络形态向融合、智能、开放方向发展。其中智能化将从始至终贯穿整个架构的每个环节中,通过精准采集、深度融合、智能挖掘形成“数据→信息→知识→智慧”的数据资源化价值链,从而提升网络智能研判、态势推演、自学自优化的能力。

未来网络大数据系统架构主要分为数据层、数据分析及管理层、服务及应用层。分层结构是未来大数据体系及架构的主要方式,层与层之间通过标准化的驱动和接口相互协同,在保持生态运作的同时实现各自的数据和技术隔离,同时依据自身的需求和特征实现各自的技术演进和发展。

此外,要实现“数据→信息→知识→智慧”数据资源化价值链,匹配未来网络下数据发展的特征,必须在大数据体系内贯穿使用各类智能化手段。

a)智能化数据采集:数据采集是大数据分析的基础,有效的采集方案对于数据挖掘具有重要意义。万物互联时代下海量终端设备种类繁多、数量规模大,且通信协议与数据格式各异,因此对海量设备进行采集必将会产生海量多源异构数据。而这些数据往往是不规则且非结构化的,并存在重复、缺失或错误等问题,甚至数据形态也会发生变化(如图像、视频、矢量、控制信息等),为此必须升级数据处理手段来适配这些变化。未来将充分利用大数据手段构建统一的智能数据采集系统,通过分布式计算在多源设备数据采集环节实时监测数据质量并引入数据清洗技术,利用AI等技术构建适配多种数据形态的模型和驱动,并依次完成数据抽取、清洗和质量检查等工作。此外,还需要构建多样化指标特征库,利用AI聚类算法对数据进行智能识别、分类及索引,从而打造完整的全链路数据采集、校验与整合能力,确保数据采集的全面准确性。

b)智能化数据融合:在获得高质量数据的基础上,需要将多源异构数据全面打通,秉持内部流通整合、外部开放共享的理念,构建典型维度(如用户)基于时空关系的全局知识图谱,从而实现数据的高度融合,如图2 所示。此外,未来在数据融合环节中,还将依托大数据和AI 技术,在海量的B 域+O 域+其他数据中实现隐含的关联特征、隐形特征、共性特征、突变特征等多类特征的自动抽取,从而为后续的智能化数据挖掘提供基础。

c)智能化数据挖掘:未来数据的巨大规模和生成速度使得智能数据挖掘的价值日益凸显,通过对海量数据的深入分析,了解其背后的真正含义,跟踪其实时状况,预测、判断未来发展走向。利用数据反映出的事实来指导策略制定,实现精准决策。

大数据挖掘可实现数据深层联系的进一步研究,是高级智能的最充分的体现。因此,未来将以人工智能的机器学习、深度学习模型算法为基础,通过图3所示的智能数据挖掘模式对网络数据、业务数据、用户数据等大量多维数据进行特征及规则的深度挖掘并完成感知学习和推理,将其转化为更优的网络策略,优化升级网络的自主管理和控制进程,实时感知外界环境、动态调整网络配置,从而有效提升网络智能分析和业务编排能力,进而提供更优质的服务。

总之,在未来网络大数据生态架构中,基于大数据、AI 等技术将数据通过梳理业务逻辑、统计关键要素变成信息,并通过提炼信息同时结合业务场景验证将数据变成知识,再积累大量知识来为未来规划作出预判和自主决策。最终通过与场景和管理要素结合进行落地,使智能化深度渗透到整个社会的方方面面。

图2 构建用户维度基于时空关系的全局关系图谱

图3 智能数据挖掘整体流程

4 未来网络大数据应用方向

在未来网络开启的新时代中,大数据技术得以快速发展,大数据应用范围将会更加广泛,未来大数据的使用价值也将会在应用中更充分地体现出来。其中,“万物智联”和“数字孪生”将成为未来大数据应用的主流方向。

4.1 万物智联

万物互联时代使所有的人、物、设备都通过网络进行紧密连接。而未来随着大数据、AI 等技术的协同突破与创新,网络将会从简单的连接工具逐步转变为具有强大理解力和判断力的智能连接工具,打破各领域间的壁垒,催生出更多新物种新业态,从而推动社会由“万物互联”向“万物智联”迈进。

以在物联网中优先发力的车联网行业为例,5G 将实现车与车、车与路、车与人、车与传感设备之间的交互传递和信息共享。但随着以交通设备为代表的物联网终端数量激增,预计2025 年5G 联网车辆将超过6 000万,未来的车联网将结合智能交通物联网和交通云控平台,打通“人车路云”双向价值链路,形成数据交换和数据服务一体化的泛在车联网,实现所有可能涉及的诸如汽车、行人、城市各类基础设施、环境、工业等各类元素和服务的高效智能连接,如图4 所示。未来,道路上的每个人都能与附近的一切进行沟通并实时提供速度、位置、轨迹等海量数据,AI 系统将这些数据与其他一些辅助数据(如天气、道路情况等)融合并完成智能分析,最终反馈结果的同时给用户推荐最佳解决方案。此外,这些数据还将为其他行业应用提供数据支撑。总之,未来网络+大数据将赋予车联网更多应用场景。

4.2 数字孪生

图4 未来万物智联下车联网行业应用示意图

所谓数字孪生,可以理解为现实世界的每个人和物体都会映射到一个虚拟世界,人类在其中可模拟现实社会的运行,从而对现实世界的未来发展做出预判和必要干预。

物联网、AI 和虚拟现实等技术的不断进步给数字孪生带来更多的发展空间和可能性。Gartner 物联网调查显示,到2022 年超过2/3 实施物联网的公司将在生产中部署至少1个数字孪生系统。这意味着数字孪生正逐步进入主流应用,广泛应用于各行各业。

以数字孪生城市为例,数字孪生城市将成为智慧城市建设的新起点,规划部门可以通过全域感知、数字化标识、万物互联、泛在计算、数据驱动决策等手段,构成强大的数字孪生城市技术模型;并结合大数据、AI、虚拟现实等技术推进模型不断完善和发展,逐步实现城市实时动态的模拟、仿真和分析,如图5 所示。设想一下,未来的物理城市将对应一个数字孪生城市,其中所有的人、物、事、道路和设施等都将在这个数字世界中存在虚拟映象。在这个数字世界中可以实现随时随地看到信息、跟踪轨迹、检查状态;虚拟与现实同步运行、情景交融;城市中的一切都可管可控、尽在掌握之中,届时城市智慧将不再是空谈。

图5 物理世界与数字孪生城市间的基本关系示意图

此外,除万物智联、数字孪生外,未来几年,大数据产业和融合应用都将加速发展,大数据技术也将持续为社会智能化发展提供源源不断的新动力。

5 未来网络大数据的挑战及应对措施

随着数据体量扩增、数据维度和类型的进一步丰富,未来网络将会创造出新价值,带来“大服务”和“大发展”。但在应用过程中也会面临诸多新的挑战。

a)海量多源异构数据实时处理能力不足。面向未来多源异构且复杂度高的海量数据,当前的数据处理系统将出现采集压力大、存储资源紧张、处理效率低等诸多问题。因此,未来亟需升级和完善实时处理技术,采用可灵活扩展的分布式架构来构建高性能、综合性强的实时处理系统,真正实现各系统间高效互联互通。

b)数据共享与数据隐私保护的边界问题日益突出。当网络融入社会的方方面面,沉淀下的海量数据使人们的生活变得更加透明。而未来,存在于生活各个角落的智能设备将实现随时随地跟踪、采集信息,进而生产出更多个人数据。面对这样开放共享的环境,数据隐私保护显得尤为重要。但是,目前尚无一套公认的成熟解决方案来有效界定数据共享与数据隐私保护之间的边界。因此,目前亟需在技术进步与个人权利之间找到平衡点来建立规则,同时通过反复博弈和试验验证来确保其合理性和有效性。

c)数据安全风险更加凸显。未来对于海量多源异构数据的安全防护将变得更加困难,分布式的数据处理加大了数据泄露的风险,信息安全成为制约大数据技术发展的关键因素之一。因此,未来需要加快面向大数据的信息安全技术研究,建立并完善能够应对高级且持续攻击的大数据信息安全体系。

虽然大数据面临上述诸多挑战,但其发展依然非常乐观。在未来网络和各种智能技术的推动下,数据将成为最有价值的资产和生产要素,大数据技术将成为各领域发展最强有力的驱动力,多方位改善人类生活,推动社会智能化发展。

6 总结与展望

当下一代网络向云化、灵活化和泛在化方向逐步演进的同时,大数据布局和应用也将会随之发生革命性变化。未来网络与大数据的深度融合,将实现“数据→知识→决策→行动”的快速转化,从而推动人类社会向全面智能化迈进,开启一个全新的智能时代。但凡事都有两面性,随着新技术的发展与运用,大数据也面临诸多挑战,其中潜藏的问题和危机不容小视。本文分析了未来网络的发展趋势,基于此研究了未来网络大数据新生态及应用方向,并探讨了未来大数据发展所面临的挑战及应对策略。相信未来,随着网络不断演进和优化,大数据将会发挥出更大的价值。

猜你喜欢

海量架构联网
脐橙连上物联网 扫码便知“前世今生”
一种傅里叶域海量数据高速谱聚类方法
“身联网”等五则
《物联网技术》简介
海量GNSS数据产品的一站式快速获取方法
《物联网技术》简介
功能架构在电子电气架构开发中的应用和实践
基于B/S架构的图书管理系统探究
构建富有活力和效率的社会治理架构
海量快递垃圾正在“围城”——“绿色快递”势在必行