王恩东　张东　亓开元

摘要：提出了基于融合架构构建面向智能制造的云数据中心的理念，并认为利用高速互连、新型存储及内存计算、可重构等关键技术能够实现硬件重构和软件定义。应用实践表明：通过3个阶段持续演进，融合架构将引领敏捷、高效和智能的云数据中心，从而推动智能制造快速发展。

关键词： 智能制造；融合架构；硬件重构；软件定义；云平台

Abstract： In this paper， we propose the key idea for constructing intelligent manufacturing-oriented cloud data center based on smart architecture. In addition， the key technologies， including high-speed interconnection， new storage and memory computing， reconfigurable technology are introduced to implement hardware reconfiguration and software defining. The practice shows that smart architecture will make cloud data center more agile， efficiency and intelligent through its three phases of evolution， and it will promote intelligent manufacturing developing rapidly.

Key words： intelligent manufacturing； smart architecture； hardware reconfiguration； software defining； cloud platform

21世纪以来，新一轮科技革命和产业变革正在孕育兴起，全球科技创新呈现出新的发展态势和特征[1]。面向工业制造领域，信息技术、生物技术、新材料、新能源广泛渗透使得传统制造智能化、服务化、绿色化趋势明显[2]。特别是信息技术与制造业的深度融合正在深刻变革着工业产品设计研发、工艺制造、经营管理模式，从而更有效地配置资源，大幅度地提高生产效率，降低成本，提高核心竞争能力，从而推动产品换代和产业升级[3]。

在科技创新和产业变革的趋势下，世界上主要的制造大国都推出了具有本国特色的“智能制造”发展战略。无论是美国的工业互联网、德国的工业4.0还是中国制造2025[4]，智能制造主要体现在以下几个方面：

（1）生产过程智能化，即生产方式的自动化、精密化、智能化。

（2）生产装备和产品智能化，即把芯片、传感器、软件嵌入到生产装备和产品中，使之具备动态存储、感知和通信能力，实现可追溯、可识别、可定位。

（3）制造模式智能化，即建立以个性定制、协同开发、精准推荐、智能生产、智能物流为代表的智能制造新模式。

（4）管理智能化，将云计算、大数据、深度学习等技术以及现代管理理念融入到制造企业中，实现基于数据的精准经营决策。

（5）服务智能化，即体现为高效、准确、及时挖掘客户潜在需求并实时响应，也体现为产品交付后通过线上线下（O2O）的相关服务实现全生命周期管理。

可以看到，智能制造离不开移动互联网、物联网、云计算、大数据等新一代信息技术的支撑和驱动。具体来讲，前端传感器、移动终端和嵌入设备时时处处感应着物理制造过程的状态变化，并将其转变为数字化原始数据。整个工业系统基于物联网、移动互联网实现设备间、设备与控制系统、企业上下游的联通，将数据传输汇总到后端云数据中心。云数据中心对数据进行存储、建模和初步统计分析后形成信息；再进一步通过分类、归纳、演绎和预测等深度挖掘成为知识；最后，智能设备可在软件平台的控制下，对设计规程、制造指令、运维告警进行精确响应，灵活调整运行参数，产出智能产品来影响物理世界、服务大众生活[5]。

因此，新一代信息技术推动着制造业向着数字化、网络化、智能化方向快速发展。这个过程以云计算作为计算和存储能力的资源平台，以工业互联网作为物理和信息系统的连接纽带，以大数据及相关技术作为知识共享、价值挖掘的认知方法，而围绕深度学习的芯片、算法则成为强化制造智能的优化工具。其中，云计算是基础，它可以为智能制造提供核心驱动力。

1 面向智能制造的数据中心

面临的挑战

可以预见，今后面向智能制造的前端生产装备、智能产品将朝着轻量化和泛在化发展。通过物联网、工业互联网将各种各样的数据持续不断向后端传输，造成数据的爆发增长。除传统结构化数据外，音/视频、图片等非结构化数据比重快速增加，而其固有的不可预测性、不连贯语义使得难以进行分析处理。同时，数据处理的速度问题也愈发突出，需要以秒/分钟级为目标进行实时/准实时处理。也就是说，数据来源的多样性、语义的不确定性和处理的实效性使得后端计算量越来越大，对数据中心的存储和计算能力都提出了巨大的需求。在这种趋势下，面向智能制造的数据中心规模持续增长，且大规模数据中心也越来越集中。规模化、集中化的数据中心将面临着性能、效率、能耗等方面的诸多问题和一系列挑战。

首先是性能方面的瓶颈问题。2005年之后处理器主频基本停滞在3 GHz。同时，集成电路的制程工艺也遇到瓶颈，摩尔定律难以维持下去，2014年国际半导体技术蓝图（ITRS）宣布将不再遵循摩尔定律[6]。性能上的另外一个问题在于存储性能瓶颈，处理器外部的主存、磁盘与内部寄存器、缓存的访问速度相差巨大，造成整个系统数据存取性能的不匹配。例如，主存访问时间比L1 Cache高出2个数量级，比磁盘快4～5个数量级。此外，网络瓶颈也是制约数据中心扩展性的重要因素，目前的数据中心普遍采用分布式架构，设备间的互连网络带宽远低于设备内的互连带宽，并且协议复杂、层次众多，使得业务系统扩展受到严重限制。

第2个挑战是效率问题。据Gartner统计，目前数据中心的服务器平均利用率为12%[7]。虽然通过虚拟化能实现计算资源在不同业务间的调度，从而使得单一设备的利用率提升到60%左右，但是传统架构中服务器、存储等设备是分离的，资源共享仅限于同类设备，这就使得整体的资源利用率仍然不高。效率低下的另一个原因是中央处理器（CPU）普遍采用通用的迭代电路设计，而图形处理器（GPU）、数字信号处理（DSP）等专用芯片采用专用硬件电路设计，在执行快速傅里叶变换（FFT）、离散傅里叶变换（DFT）等特定算法时并行度高，性能能够提高100～1 000倍。因此，提升CPU针对大规模应用的性能，或发展面向应用的专用和可重构计算单元，具有广阔的空间。

第3个挑战是能耗问题。统计分析表明，大多数数据中心的服务器能耗占比在50%以上，问题突出。在无法降低处理器功耗的前提下，就需要通过提升能效来实现以较少的能耗达到更高的性能。然而，就目前的工艺水平，通过维持功耗基本不变提升单颗处理器的性能难以实现。此外，深度学习等智能计算的发展进一步加剧了数据中心能耗和能效的双重挑战。例如， Google的AlphaGo其规模为1 920个CPU和280个GPU，在与李世石的对弈中，AlphaGo的功率为500 kW，而李世石仅为0.1 kW。由此可见，AlphaGo与人脑的计算效率差距巨大，这也表明CPU/GPU在设计上存在冗余或瓶颈，造成能效低下。深度学习若要大规模应用，将会给数据中心能耗带来更大的挑战，迫切需要提升数据中心的单位能效。

2 面向智能制造的云平台

技术

随着规模的不断扩大，传统数据中心那种将设备进行简单堆积，以交换机连接，再辅以虚拟化软件进行资源调度和管理的方式已经无法满足智能制造带来的计算量与数据量需求，必须在各个层面进行技术的创新，推动数据中心架构的变革。我们将这种适应未来需求的全新数据中心架构定义为融合架构[8]。

融合架构就是面向应用的硬件重构和软件定义[9]，也就是在硬件层将计算、存储、网络整合为资源池，在软件层动态感知业务的资源需求，利用硬件重组的能力，智能地动态分配和组合资源，以满足各类应用的需求。融合架构的实现，从当前来看至少需要以下几个方面的关键技术来做支撑：

（1）在高速互连方面，硅光技术的发展将加速硬件解耦化，为硬件重构奠定基础。

（2）高性能非易失性存储器的突破性进展将简化存储层次结构，大幅提升系统效能。另外，大容量内存技术将使得内存计算成为现实。

（3）可重构计算技术的发展使得硬件面向软件优化，或者说硬件适配软件成为可能。

（4）软件定义将支撑面向应用优化的数据中心基础设施的按需重构。

2.1 高速互连

光互连相对于电信号互连具有高带宽、低延迟、长距离等优势，而硅光互连相对于目前用于板间或者节点间通信的光纤技术又有着更高的通信速率、更低的功耗，以及因更简单的结构所带来的更高部署密度和更简单互连协议等优点。例如，电互连的传输速率是10 Gbit/s，而光互连可达30 Gbit/s，并且通过波分复用并行传输可进一步达到Tbit/s级的速度。同时，光学器件的体积较小，部署密度是电互连的5倍以上，而功耗仅为1/7[10]。硅光技术的上述优势，使其特别适合用于芯片间的高速和长距离互连，其应用将加速推动硬件资源的解耦，进而实现数据中心硬件资源的物理池化。

硅光技术将使目前毫秒级的跨节点访问延迟缩短至纳秒级，使节点内和节点间的访存延迟几乎没有差异，因此资源的解耦和池化便成为可能，如图1所示。目前虚拟化技术采用的分时复用模式是在硬件资源无法从物理上切分时的选择，但虚拟化本身带来了额外的资源开销。因此，当硬件资源具备物理的解耦能力之后，一种基于软件定义的资源边界配置与组织模式，将会较大程度上提升数据中心的总体能效。

2.2 新型存储与内存计算

随着半导体工艺的进步，非易失性存储在性能和容量密度方面已经取得较大进展，将对计算机系统的存储层次结构产生重大影响[11]。内存与外存合二为一，存储层次更加扁平化，如图2所示。这种扁平化将带来更低的数据访问延迟、更高的访问带宽，以及更大容量的存储空间，支撑实现更高效率的“内存计算”。近年来，非易失性内存固定存储器（NVM）和传统动态存储器（DRAM）单位容量的成本持续下降，而服务器的内存容量支持能力大幅增长，也使得在内存中缓存海量的实时数据成为现实。内存计算通过将用户程序在内存中执行，避免了传统架构中访问磁盘的输入输出（IO）瓶颈和并行度差的问题。例如，K-means聚类和Logistic回归算法的处理速度在Spark内存计算架构下将比传统Hadoop提升37.8倍和114倍[12]。

2.3 可重构技术

可重构技术可以分为数据中心级、系统级和芯片级3个层次，芯片级的可重构即是根据应用的需求进行芯片功能重构。随着3D晶体管工艺的推广应用，处理器芯片内部的晶体管资源更加丰富，可编程现场可编程门阵列（FPGA）的性能和容量也都大幅提升，使得面向特定应用重构硬件逻辑成为可能[13]。可重构处理器既保持了处理器的通用性，又具备专用硬件逻辑的高效率，以及逻辑可重构带来的灵活性。这实际上就是一种更细粒度的软件定义的资源重构，将对数据中心整体效率带来较大提升。实现可重构的关键是应用逻辑的在线快速动态加载与切换。将应用逻辑划分为通用静态逻辑和专用动态逻辑，如图3所示。通用的静态逻辑可以预先配置，用于建立异构部件与CPU的数据通路；而动态逻辑与应用特征有关，可以通过CPU与加速部件的高速接口完成目标应用在线快速切换，从而在毫秒级内完成逻辑动态重构。

2.4 软件定义

软件定义的基本思想是控制与基础设施分离，实现逻辑集中的资源弹性调整、动态分配与可编程配置，也就是说将计算、存储、网络等基础设施资源化，作为随需提供的服务。目前，软件定义的关注重点正在从资源抽象和控制分离，逐步扩展到业务感知能力。特别是在数据中心资源管理中引入机器学习技术，例如在模式识别、音/视频处理等领域广泛应用的深层神经网络[14]，建立应用感知的资源重构决策系统，赋予基础设施感知上层应用需求、识别资源使用行为特征的能力，为业务构建最佳运行环境。

3 融合架构演进路线及应用

实践

融合架构的最终形态，就是硬件趋于一致，软件定义一切。通过硬件重构，将各种资源融合到一个全新形态的设备中，再通过软件定义表现出计算、存储、网络、安全功能，派生出科学计算、大数据和人机交互等业务，满足不同的智能制造应用场景需求。具体到发展路线，我们认为可以从软、硬件2个层面演进，并分3个阶段逐步发展。

（1）第1阶段，在硬件上实现散热、电源、管理功能等非IT资源的集中化和模块化，并利用软件虚拟化实现计算、存储等IT资源的池化和集中管理。

（2）第2阶段，进一步将非计算部分的存储、网络等IO设备进行池化，机柜内采用硅光电等技术进行高速互联，并以软件定义的计算、存储和网络来满足业务需求。

（3）第3阶段是最终将CPU、内存等所有IT资源完全池化，从硬件上可实现任意组合，根据应用需求智能地分配和组合相关资源，实现完全意义上业务驱动的软件定义数据中心。

3.1 第1代融合架构

第1代融合基础架构的特征是实现散热、电源、管理等非IT资源的集中化和模块化，如图4所示。与传统架构相比，集中供电能够提高系统供电效率，减少电源自身的损耗；集中散热不但方便系统维护，而且能够降低系统散热功耗；对资源的集中管理能够实现系统功耗监测控制、散热调控等智能化管理。

第1代融合架构代表是参照美国开放计算项目（OCP）[15]和中国天蝎规范[16]研发的机柜级服务器，OCP和天蝎规范都针对机柜服务器的尺寸、空间、设施、供电等方面形成各自统一标准，已经在全球互联网巨头的数据中心广泛应用。例如，Google每年采购量在40万节点，Facebook每年25万节点，中国BATQ每年也都在10万节点以上。通过第1代融合架构应用，中国互联网数据中心的空间利用率可以提升13.8%，能耗能降低15%以上，总所有成本（TCO）降低10%，部署效率提高10倍，浪潮在百度阳泉数据中心更是创造了单日部署1万节点的记录。

3.2 第2代融合架构

第2代融合基础架构在第1代基础上，基于高速互联构建分布式网络，进一步将存储硬件池化，并通过软件定义实现资源拓扑灵活定义、存储按需供给，如图5所示。

第2代融合架构的典型代表是云服务器架构（CRA） 。网络方面，CRA将传统网卡、交换机取消，统一设计为统一网络引擎（UNE），每个UNE链接4个节点，相互之间组成分布式网络构成一个机柜级交换核心，实现与主干网络的连接。每个UNE对内有8个25 G的外设部件快速互连（PCI-E）接口，而对外有4个40 G和4个100 G的以太网接口，如图6所示。相比传统网络，该架构可以：（1）通信延迟降低77%。传统架构最低通信延迟超过10 μs，但是CRA仅为2.3 μs。（2）灵活多样，按需扩展。基于分布式网络，通过软件定义能够支持多种组网方式，并且可以根据负载和应用类型进行纵/横向流量动态调配，网络规模可以随需扩展。在存储方面，CSA将原属于各个节点的存储空间池化，形成存储扩展节点，通过PCI-E 高速网络连接，最大能扩展到24×12盘位。此外，通过集成虚拟化平台和云管理平台，实现硬件和虚拟资源的统一管理，形成软硬一体的基础设施即服务（IaaS）解决方案。

CSA通过一体化的基础架构融合，不仅电源、管理等模块全部采用冗余和热插拔设计，两路/四路/八路通用计算节点、集成众核（MIC）/GPU/协处理异构加速节点、存储扩展节点都可以按需配置，能够满足智能制造领域智能监测控制、数字订单、协同管理、工业分析和预测等全方位的应用需求，同时部署密度提高52%，部署效率提高10倍。基于CSA、利用FPGA构建的语音识别系统功耗只相当于CPU方案的15.7%，性能可以提升2.87倍。

软件层面的代表是云海云数据中心操作系统InCloud OS，基于OpenStack构建并增强，全面支持软件定义，统一管理主流小型机、x86服务器和存储，支持异构虚拟化和混合云管理，如图7所示。InCloud OS通过整合异构设备，资源利用率提高70%，空间成本节省50%，服务交付时间由数天缩短至分钟级，业务部署时间由平均12 h缩短至5 min，有效提升智能制造信息系统的管理和运维效率。

3.3 第3代融合架构

第3代融合架构的特征是CPU、内存、存储、网络完全池化，完全按需进行资源的软件定义。在未来的智能工厂，即使远在千里之外也能洞悉生产车间内的一切，监视生产的每个环节，准确控制每个生产步骤和节拍，科学管控仓储和物流系统，根据个性化需求和生产情况变化快速规划出及时、准确的控制指令。第3代融合架构能够通过感知上层业务的类型和资源需求，利用硬件的重构能力动态地分配和组合资源，变化高效灵活的服务形态，为上述智能制造场景构建最佳的运行环境，并能够有效提升应用性能和系统能效，具体如图8所示。

4 结束语

作为支撑智能制造的重要基础设施，融合架构能够从更深层次上提高云数据中心的精简化和智能化程度，促进能源使用效率（PUE）降低至1.2以下；通过将各类资源整合为资源池，可以实现资源的任意重构，资源利用率提高50%；满足弹性伸缩和超大规模持续扩展需求，扩展性提高20倍以上；通过感知业务的资源需求，数据中心可以自动重组资源来为业务构建最佳的运行环境，按需建立从底层硬件到上层业务软件的信任链，让应用软件与基础设施之间的契合程度达到一个前所未有的水平，从真正意义上赋予数据中心高效、绿色、灵动、智能，驱动智能制造的快速、健康发展，支撑“中国制造2025”的实现。

致谢

本文得到李仁刚高级工程师、苏志远博士的帮助，谨致谢意！

参考文献

[1] 周济.智能制造—“中国制造2025”的主攻方向[J]. 中国机械工程， 2015， 26（17）： 2273-2284

[2] 张洁， 吕佑龙. 智能制造的现状与发展趋势[J]. 高科技与产业化， 2015（226）： 42-47

[3] 陶永， 王田苗， 李秋实， 等. 基于 “互联网+” 的制造业全生命周期设计、制造、服务一体化[J]. 科技导报， 2016， 34（4）： 45-9

[4] 冯国华. 因地制宜打造大数据驱动的智能工业[N]. 中国电子报， 2015-01-12

[5] 于青利， 李曼， 周倩. 云计算时代托举智能制造走向成功[J]. 世界电信， 2015（7）： 28-36

[6] International Technology Roadmap for Semiconductors. 2014 ITRS Reports[R]. Gyeonggi-do， 2014

[7] The Sorry State of Server Utilization and the Impending Post-Hypervisor Era [EB/OL]. https：//gigaom.com/2013/11/30/the-sorry-state-of-server-utilization-and-the-impending-post-hypervisor-era/

[8] 王恩东. 融合架构引领云计算数据中心[R]. 北京： 第八届中国云计算大会， 2016

[9] 张广彬， 盘骏， 曾智强. 数据中心2013：硬件重构与软件定义[R]. ZDNet企业解决方案中心， 2014

[10] ROELKENS G， LIU L， LIANG D. III-V/Silicon Photonics for On-Chip and Intra-Chip Optical Interconnects [J]. Laser & Photonics Reviews， 2010， 4（6）： 751-779

[11] TORRES L， BRUM R M， CARGNINI L V， et al. Trends on the Application of Emerging Nonvolatile Memory to Processors and Programmable Devices[C]//2013 IEEE International Symposium on Circuits and Systems （ISCAS2013）. USA： IEEE， 2013： 101-104

[12] ZAHARIA M. Parallel Programming with Spark [EB/OL]. http：//ampcamp.berkeley.edu/wp-content/uploads/2013/02/Parallel-Programming-With-Spark-Matei-Zaharia-Strata-2013.pdf

[13] HAUCK S， DEHON A. Reconfigurable Computing： the Theory and Practice of FPGA-Based Computation [M]. USA： Morgan Kaufmann， 2010

[14] LECUN Y， BENGIO Y， HINTON G. Deep Learning [J]. Nature， 2015（521）： 436-444

[15] Open Compute Project [EB/OL]. http：//www.opencompute.org/

[16] 开放数据中心委员会. 天蝎整机柜服务器技术规范[S]