■ 刘建钦

大数据一词被越来越多的提及到，那么对安防行业来说，其最大价值就是海量存储系统——云存储。本文选择了几个主流云存储技术进行分析介绍。

视频监控行业发展趋势

“大数据”一词从2012年起被大家所广泛提到，用来描述和定义信息爆炸时代产生的海量数据；也有用来指一个企业或公司创造的大量非结构化和半结构化数据。近年来互联网和信息行业的飞速发展，互联网上的数据出现了爆发式增长，从起初的计量单位GB或TB到现在的PB（1024个TB）、E（100万个TB）或Z（10亿个TB）。大数据到底有多大？其计量单位至少是P，这里举例一个与我们日常生活息息相关的视频录像例子：1路8Mbps 1080P高清摄像机24小时录像产生的数据量为84GB，30天录像数据量为2520GB，1年录像数据量为30TB。照此计算，如果建设100路同样的摄像机，1年就需要约3PB存储空间。这类视频数据就是典型的非结构化数据。

近十年来，在公安部颁发的“3111工程”建设规划纲要指导下，中国视频监控行业经历了从2006年开始的平安城市项目建设到现在的智慧城市项目建设的重大转变。同时，在北京奥运会、广州亚运会安保项目和各地上海世博会、西安园博会等各行业大型安防项目建设的强劲拉动下，整个安防市场取得了高速发展的成果；再者，随着物联网技术的应用落地，智慧城市建设取得了一定的成效，进一步加快了整个安防行业市场规模迅速扩大。而用户群和市场需求的不断扩大，带动了视频监控行业技术持续更新；带来了视频监控图像质量由起初的模拟信号标清到现在的数字高清、以及用户对视频图像数据刚开始只看不存或少量保存到现在的长时间存储的转变；由此就带来了视频数据爆炸性增长的态势，起初的DVR存储和服务器本地硬盘保存已经满足不了大数据量快速存储需求。因此在大量高清应用环境下，视频监控行业迎来了“大数据”时代的海量存储系统——云存储。

视频云存储技术介绍

视频监控存储技术是视频技术和存储技术的融合，针对不同的应用环境存在不同的解决方案。DVR分散存储，DAS直连存储和SAN集中存储技术在不同的监控环境中都已经得到了充分应用，可以满足大中小型监控系统的存储需求。但是对于特大型监控系统，要求达到PB级的存储容量，靠单设备和单客户端的文件系统是做不到的，必须有虚拟化、集群化的解决方案。

近几年兴起的云计算、云存储技术充分利用了虚拟化集群存储技术，可以实现存储空间的动态扩展、多设备负载均衡、多设备冗余等，为特大型监控系统的建设提供了新的思路。云计算是信息技术发展新趋势，云存储是在云计算概念上延伸和发展出来的一个新概念，是指通过集群应用、网格技术、分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的存储系统。

当使用某一个独立的存储设备时，必须清楚该设备是什么型号，什么接口和传输协议，必须清楚存储系统中有多少块磁盘，是什么型号、多大容量，必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证数据安全和业务的连续性，还需要建立相应的数据备份系统和容灾系统。除此之外，对存储设备进行定期的状态监控、维护，软硬件更新和升级也是必须的。这些工作量对于一个特大型（10PB级以上）存储系统来讲是不可想象的。

采用云存储，上面所提到的一切对使用者来讲都不需要了。云状存储系统中的所有设备对使用者来讲都是完全透明的，任何地方的任何一个经过授权的使用者都可以通过一条链路与云存储连接，对云存储进行数据访问。就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种和应用相结合的数据存储服务。所以严格来讲，云存储不是存储，而是一种存储和应用的结合。

相比于传统的存储方案，云存储方案具有如下优势：

主流云存储技术介绍与应用分析

云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。当前存储行业主流云存储架构分为文件级共享架构和块级非共享架构两种。基于文件级共享架构的代表厂商有IBM和EMC，而块级非共享架构的厂商以海康威视为代表。下面就代表厂商从技术角度做介绍：

项目 传统视频监控存储 视频监控云存储可管理性 单设备独立存储或多设备堆叠存储；管理维护相对麻烦统一管理，虚拟化集群服务，基于统一的管理平台，对多设备状态、资源、报警、升级、扩展进行集中管控。可靠性 RAID技术、部件级冗余 系统级+设备级+部件级冗余，RAID技术并发性能提升，智能性能负载，控制数据和视频数据分离，文件系统优化，集群协调工作节能 RAID组级MAID技术 设备级和RAID组级MAID技术服务 任务不可分割 存储任务和分析任务分割可扩充性 设备级配置复杂 系统级在线配置、容量/性能扩充方便数据安全 备份、容灾 N+m设备冗余，远程容灾，关键数据多个副本可用性 掌握IP/FC存储技术 对用户完全透明成本 综合成本高 综合成本低，可节省大量录像服务器投入性能 基于设备局部性能优化

IBM SONAS 集群存储

IBM SONAS集群存储是IBM Scale Out Network Attached Storage 的简称。IBM SONAS是一个采用横向扩展架构的集群 NAS 系统，建立在自主研发的通用并行文件系统（IBM General Parallel File System：GPFS）上。它通过把高速接口节点与出色的存储子系统和GPFS连接起来，提供非常高的性能和可伸缩性。同时把先进的水平扩展能力与自动的数据部署和统一管理结合在一起，让客户能够方便、快捷地把存储空间扩展到数 PB级。

IBM SONAS 集群系统组成由一个专用的管理节点和两个或多个接入节点两部分。接入节点主要是对外部应用系统提供数据传输通道，也是用户应用系统访问存储资源的一个类似中间件的作用。它可以根据不同协议 NFS、CIFS 和FTP 方式连接组成数据存储网络来为用户提供文件服务能力。它们分别部署不同的服务器集群上。

IBM SONAS 技术特点有：

● 使用单一全局名称空间，可提供与文件的物理位置无关的快速数据访问；

● 基于高可用的集群架构，可独立灵活地存储容量和文件服务能力扩展；

● 可自由伸缩的海量存储空间，从数百 TB 到数 PB；

● 针对并行IO负载优化，可提供高速并行的IO处理能力；

● 支持多种访问标准的网络文件服务，比如 NFS v2/v3、FTP 和 CIFS；

● 完全集中的管理和控制，简化大型 NAS 系统的管理；

● 基于策略的数据部署和转移，用于改进分层和信息生命周期管理（ILM）。

IBM SONAS系统架构如图1所示：

IBM SONAS典型应用：

● 企业办公一般文件存储：通用的文件存储,客户希望日常管理比目前的NAS好；

● 数字媒体：高性能, 简化管理,适合数字媒体环境的变化多端的需求；

● 网络内容存储：海量扩展,存放Web 2.0内容和云计算应用的数据；

● 高性能分析：业务应用数据，包括财务系统和地理科学,统一的命名空间易于使用；

● 能源和地理科学：能源探索和地理科学要求大量可访问的命名空间作分析之用和非常高的性能计算；

● 计算机工程：汽车/航空/ 电子设计处理需要大量的文件存储来实现仿真；

EMC Isilon NAS集群存储

图1

图2

EMC Isilon NAS集群存储系统是EMC在2010年11月通过收购横向扩展市场的领导者Isilon方式获得的而非自主开发。Isilon的架构采用真正的分布式、全对称集群体系结构，将模块化存储节点和Isilon的智能软件相结合；其操作系统采用第六代IsilonOneFS分布式文件系统，创建具有单一文件系统和单一全局命名空间的集群。也就从最简单的基准线逐渐发展成为横向扩展系统，而其他系统仅仅是在传统的存储文件系统上增加共享层。因此，Isilon所有产品具备了非常简单性设计准则的特点。

Isilon技术特点有：

● 单一文件系统和全局命名空间；

● 简单性设计准则，提供无与伦比的易用性；

● 最高N+4 数据保护，可在群集、目录或文件级别设置；

● 为元数据和基于文件的存储工作流智能应用SSD 技术；

● 超过140 万次NFS 操作/ 秒，聚合吞吐量达到85 GBps；

● 最高配备13.8 TB 的全局统一缓存；

Isilon系统架构如图2所示：

Isilon典型应用：

● 数字媒体：广播，实时流，渲染及后期制作；

● 设计和仿真：电子及机械系统的仿真，验证及分析，可制造性设计以及需要快速分析应用。

海康威视云存储

海康威视云存储系统是监控云平台和云存储系统的结合，其系统设计之初就融合了海康威视视频监控技术优势和自研的流媒体存储技术特点。它采用了基于流媒体的文件管理结构和Hadoop分布式文件系统（HDFS），对于构建针对视频流应用的监控云存储系统具有天然的应用优势。

图3

云存储系统由云存储管理节点和存储节点共两部分组成。其中，存储节点：支持前端设备的直接写入和客户端的直接取流；存储节点负责音视频录像数据的存储。管理节点负责内部有关云内配置的元数据信息，集群内部的负载均衡，失败替换等管理职能；组建海量的存储资源池，容量分配按需自动分配；并且存储容量可进行线性在线扩容，性能和容量的扩展都通过在线扩展完成。此外，管理节点还负责存储节点的命令流处理。海康威视云存储的结构模型由四层组成：

● 物理存储层（存储节点）

存储层是云存储最基础、最底层的部分。存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI，NAS等IP存储设备，也可以是 SCSI或SAS等直连存储设备。监控云存储中的存储设备往往数量庞大且分布多在不同地域，彼此之间通过广域网、互联网连接在一起。

存储设备群之上是一个统一存储设备集群管理系统，可以实现存储设备的逻辑虚拟化管理、多链路冗余管理，以及硬件设备的状态监控和故障维护等。

● 基础管理层（管理节点）

基础管理层是云存储最核心的部分，也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多台存储设备可以对外提供同一种服务，并提供更大更强更好的视频数据访问性能。同时，数据压缩功能可以提高存储空间的利用率，降低建设成本；数据加密技术的应用可以保证云存储中的数据不会被未授权的用户所访问，保证数据的安全性。

通过高性能、大容量云存储系统和远程数据备份软件，监控业务运营商和IDC数据中心可实现关键视频数据的安全备份和远程容灾。不仅要保证本地数据的安全性，还要保证当本地发生重大灾难时，可通过远程备份或远程容灾系统进行快速恢复，保证云存储系统的安全和稳定。

● 访问接口层（统一标准的公用应用）

访问接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。视频监控是最典型的一个应用，海康云存储为视频监控应用平台提供唯一一个统一标准的公用应用接口，根据海康视频服务云平台业务资源需求，便捷实现视频数据的存储、检索、回放、浏览转发等操作，并提供远程数据备份应用接口实现关键视频数据的远程容灾。

● 业务应用层

监控中心平台、前端视频接入设备（DVR/DVS/IPC）、视频访问用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。

其技术特点有：

● 基于流媒体文件管理结构的云存储管理系统；

● 针对监控应用使用统一的流媒体文件系统和分布式命名空间；

● 基于高可用的集群架构，可独立灵活的存储容量和数据服务能力扩展；

● 可自由伸缩的海量存储空间，从数PB 到数千PB；

● 针对并行IO负载优化，提供高速并行的IO处理能力；

● 统一的全集中管理和控制，简化大型存储系统的管理；

● 基于策略的数据部署和转移，用于实现关键视频数据的远程容灾；

图4

云存储系统架构如下图示：

典型应用：

● 视频监控：平安城市项目或大中型企业厂区视频监控；

● 网络电视节目：海量扩展，用于存放网络IPTV内容的数据；

● 高性能分析：公安视频业务应用数据，要求大量可访问的命名空间作分析和非常高的性能计算；

从以上三家厂商存储技术介绍来看，IBM SONAS和EMCIsilon代表集群NAS存储架构的云存储厂商；海康威视是基于数据块（流媒体文件管理结构）的SAN存储架构的云存储厂商。采用流媒体文件管理结构的云存储适合非结构化数据并且有大量视频类应用的场合。如：公安、司法、监狱和金融等。其主要用来处理和大量视频类数据相关的应用，例如对设定条件下数据快速检索和定位分析。对于公安用户来说，为关键任务、高并发性及基于随机访问视频的应用需求提供高速存储，从而加速了公安业务办理速度也提高了日常办事效率。这也就决定了它的市场定位是城市级和大中型企业级视频监控应用。

采用集群NAS架构存储适合结构化数据文件级高并发读写共享类应用。其主要用于处理具有大量数据的应用，例如“大数据”分析和大文件环境。为关键任务、高事务性及基于随机存取文件的应用程序提供超高速主存储器，从而加速了业务速度以及对市场的快速反应。这样，这类存储是明确定位在大型企业和云供应商高性能应用。反而对于海量的非结构化数据和大小不等的视频文件应用来说，因这类数据具有固定周期性覆盖和高可靠性读写特点，而并不能发挥出高速IO处理能力和高共享性的优势。

综合以上三家厂商云存储技术架构和应用分析结果，IBM SONAS和EMC Isilon存储均采用各自的NAS共享文件系统，适合用于大中型企业级高性能大文件数据环境应用。而海康威视云存储采用基于流媒体文件管理结构的文件系统，紧贴视频数据流的结构特点，决定了其视频监控应用的存储性能最高。适合用于平安城市项目和大中型企业厂区监控项目。自然，在视频监控应用上，海康云存储要更合理，更合适。

视频监控系统整体解决方案上，IBM和EMC没有配套的视频监控服务云应用系统，就需要和第三方视频应用软件做开发定制才可实现。而海康云存储系统是为安防行业设计的专用视频云存储系统，结合海康视频监控服务云应用系统，可以非常便捷地给用户提供完整的一体化视频监控云解决方案。

随着智慧城市建设速度加快，安防应用会越来越多，越来越广。视频监控建设内容呈现出了高清，智能和融合应用的趋势。大范围大量高清IPC的使用环境下，用户对视频图像存储周期的延长，加上对视频图像的智能分析需求以及多部门单位间视频监控系统的融合，必然带来巨大的数据量。尤其是目前国内各地的公安部门，公安综合业务平台正在转向以高清视频监控为主，希望通过110、119、120、电警卡口和交通卡口等之间的整合，采用统一的开放接口方式融合公安相关业务系统，同时正加强智能分析功能的建设和充分应用，以构建成为智能化网络视频监控综合业务平台。自然，视频云存储就成为了现在智慧城市建设中视频监控数据存储的首选方案，也是必选的最佳方案。其作为视频监控综合业务平台中最重要基础支撑部分，具有关键位置和重要作用的特点，为建设我国和谐社会的安全文明环境保驾护航。