摘要：本文通过从传统、典型的两种IT架构模式，分布式软件架构与微服务架构两个角度，分析IT架构如何在大数据时代的转型起到推进作用。近年来，大数据技术在我国的通信、金融、交通等行业快速的得到了关注与应用，谁能先使用大数据技术帮助企业完成数字化的战略转型，谁就能先占据市场的领导地位。而大数据技术的爆发性增长且能在企业快速发展的原因，很大一部分需要归功于计算机科学领域前几十年的完整高效的IT架构积累。

关键词：IT架构;系统架构;分布式;微服务

1 引言

目前越来越多的企业开始进行大规模数字化转型，在这种转型的过程中，大数据技术的应用以及大数据分析平台的搭建成为了重中之重。但是面临着大数据时代，数据繁杂，来源多样，且数据量庞大的情况，企业如何能够选用优秀的IT架构，以及如何将优秀的IT架构能够更好地符合企业不同的业务要求，切合地应用到企业的战略中去，是在大数据转型中目前很多企业和系统架构专家需要主要考虑的事情。本文在这种背景下，对两种优秀的IT架构，分布式架构和微服务架构，在大数据时代的企业的大数据平台搭建过程中所做出的贡献进行了分析，希望能够为企业和社会的大数据转型提供一些参考与帮助。

2 lT架构概念介绍

2.1 分布式架构

分布式部署架构通常是为了处理在一段时间内产生的海量数据，并要求在很短的时间内将计算结果计算出来的任务，分布式架构的解决办法是使用很多台独立的服务器或者计算主机，然后将其连接起来成为一个分布式的网络，其中在这个分布式网络架构中的每一个计算主机，在分布式架构中，一般将其称为分布式系统的一个节点[1]。在一个分布式架构中，会根据系统所需要处理的业务逻辑，设置不同的节点格式。分布式部署使用这种网状的节点架构，来实现节点之间的相互配合与协作。比如当一个超高难度的计算任务来到分布式架构的时候，分布式架构的主进程会根据预先依据系统的业务逻辑设定好的代码，来将这个大的任务拆分成很多个可以独立计算的子任务，将其分发给这个分布式架构中的不同节点，然后分布式架构中这些计算节点会根据所设置的代码运算的算法进行同时运算，并且能够将计算的结果通过记录传输到主节点，主节点根据分布式系统中不同节点已经计算出的结果，最后将每个节点上计算出来的数据进行总结;从而最终实现在极短的时间里完成大数据时代单个服务器或者主机的传统架构不能解决的大数据难题。而且这种分布式架构因其网状架构的模式设计形式，如果一个节点发生了异常，比如是在分配给其计算任务的时候发生了系统的宕机等情况，在这个时候，主节点就可以立马检测到这种情况，并使用Docker技术，或者Linux中的CP命令，将整个节点的应用，根据分布式架构中完善的日志系统和日志中记载的问题，重新启动一台新的分布式架构计算节点。这样就能保证数据的稳定运行，不会因为一台服务计算节点的问题，而导致数据的计算错误以及计算失败等问题。

在大数据云计算平台中，分布式系统架构可以提供如下优势：

（1）分布式系统架构技术可以为任何系统架构节点上的独立的物理机或者独立的虚拟机提供信息块、数据文件和数据模式对象等数据存储服务;

（2）分布式系统架构支持多种企业级特性，包括大数据集群的快照功能、大数据集群的精简配置功能、大数据集群的数据备份、大数据集群的数据加密，压缩功能等[2]，帮助大数据分析技术可以更好的对源源不断的复杂数据进行整合或替代，保证大数据处理中现有集中的信息存储设施能够稳定高效的支撑企业各种业务应用。

（3）分布式系统架构技术可实现云计算大数据分析平台中PB、EB级以上容量的大数据信息存储资源池按照企业业务的不同维度进行灵活扩展，相对于传统的单个服务器数据处理模式的集中存储，分布式系统架构技术成本更低。

2.2 微服务架构

在微服務出现之前，人们通过MONILITHIC（单体架构）来开发应用，一个系统的应用只使用一套代码。使用这种模式设计的系统中的所有功能与对外服务都编写于一套代码中，但是随着系统的升级迭代，以及系统承载业务的变化，系统中的模块会越来越多，如果系统想要升级或者扩展，都变得非常困难。特别是当所有模块的代码放在一起的时候，如果其中一个模块的代码出现了BUG，那么整个系统就将全部崩溃，无法继续运行下去，这种模式的系统也无法拥有强悍的稳定性。因此在近些年出现了微服务的概念，所谓微服务的概念就是说，将一个系统的业务逻辑拆分成很多个模块，微服务架构相比于传统系统开发架构有着粒度小，仅专注于做一件事情，运行于分布式进程，轻量级的通信协议，松耦合、独立和多版本部署，多实例部署，提供更好的扩展能力等特点。比如企业的大数据平台建设，可以将前期企业必要数据的获取，从企业需求的不同维度进行分析，为企业的用户及员工提供易于理解且直观的数据可视化数据报表展示平台等功能，分别拆分出来，各自使用一套独立的代码进行开发。然后每个模块直接使用方法接口进行通信。每个模块出错都不影响其他模块使用，当其中一个模块出错，使用服务降级的概念，可以直接在系统中进行提示，提升用户体验度。使用微服务的概念将系统中的多个模块拆分成独立的服务以后，每个服务只需要负责自己的功能就可以，开发人员在开发当前服务的时候，也不用担心会影响到其他的服务，满足现代开发中持续集成，持续迭代概念的要求。

3 lT架构在大数据时代中的应用研究

3.1 分布式架构在大数据时代的应用

大数据时代的中心数据库数据庞大，数据的查询会变得困难，查询速度会变慢，特别当多线程共同对同一个服务器进行数据查询时候，数据库中心负载太大，可能会造成数据处理效率变低。因此，现在采用分布式存储技术来分割大量数据，将不同的数据模块存储在不同的数据存储服务器上，并使用不同的网络接口来实现它们之间的数据同步，然后再将数据结果汇总返回到本地，可以加快数据查询和处理的速度，提高系统运行效率。

同时，随着企业的业务数据的不断增加，在这种大数据时代，企业如果需要在极短的时间内，根据企业的业务需要能够对这种业务数据进行不同维度的分析，如果仅仅使用传统的数据分析模式，使用单台服务器进行数据的计算和分析，是无法在要求的时间内计算出准确的结果的。这种大数据时代的企业业务数据分析与计算，必须依靠分布式架构技术，来将企业实时发送的业务数据，通过分布式架构的特点，将一个大的业务数据，根据预先依据业务逻辑开发好的算法，将这个大的任务分解成多个小的计算任务，然后分配到分布式架构中网状结构的不同节点去进行计算，最后将计算结果进行统一收集，然后交给大数据中台的前端数据展示平台去进行数据的可视化呈现。分布式架构的应用，能够帮助大数据在企业中的分布式部署成为可能，也推进了大数据技术在数据计算中的时间缩减和效能提高。

3.2 微服务架构在大数据时代的应用

当我们开发一个企业化大型大数据平台时候，我们通常会发现，大数据的不同繁杂的数据类型，属性和被查询和修改的频率都会不一样，而传统的一个服务器的架构应用下，我们通常会使用一个中心数据库，来存储所有数据。譬如一个垂直电商大数据平台的应用里面可以有客户信息数据、商品数据、购物车数据、订单数据和支付数据。一个服务器的架构应用下，我们很可能就使用一个MYSQL数据库就解决所有问题。而微服务框架下，允许也提倡每一个服务模块下拥有自己的数据库，这个数据库可以是SQL类型的数据库，譬如Oracle，MYSQL，Postgres等等關系型存储数据库，也可以是NOSQL类型数据库，譬如MongoDB，Cassandra，Amazon DynamoDB等等[3]，企业可以根据自己的业务大数据维度的需求，在NOSQL里面来选择哪种类型的数据库。对不同的模块选择不同的开发语言，和开发团队分别对不同维度的应用服务进行开发，将单个庞大的应用系统的功能拆分成单个不同的小系统，分发给不同的数据支持团队进行系统开发，比如订单的数据处理分析，就单独拿出来交给订单的大数据处理团队做开发，这个团队可以使用自己擅长的语言，擅长的开发方式进行订单模块的大数据分析，然后只需要将结果与数据中台对接，数据中台便可以得到订单模块的大数据分析结果。这就是微服务架构在大数据时代的一些典型应用案例，通过应用微服务架构，可以使得大数据时代的繁杂问题可以分解成更多的小问题去解决，从而在大数据时代实现高效的处理数据，快捷的应对各种需求。

4 分布式架构和微服务架构在大数据时代面临的问题

尽管分布式系统架构和微服务架构在大数据时代的数据处理分析方面有着非常多的优点，但也有很多缺点，本节将指出其中的一些缺陷。

首先是大数据时代的开发软件问题。就目前的最新的计算机科学技术与人工智能等技术的发展水平，大部分的企业和个人在设计、实现及使用搭建能够满足于自己业务维度，适合自己的战略思想的大数据平台时候，往往都没有太多的经验。什么样的操作系统、程序设计语言和应用适合这一系统呢？用户对分布式系统中分布式处理又应该了解多少呢？系统应当做多少而用户又应当做多少呢？专家们同样观点不一（专家们对于分布式系统他们也涉及不多，导致目前众人对该系统众说纷坛）[4]。随着更多的研究的进行，这些问题将会逐渐减少。

另一个潜在的问题是大数据时代的开发软件之间的通信网络。由于在大规模的数据传输和不同的设备之间进行传输的话可能会损失很多重要的信息，目前一般的做法是采用专门的大数据针对软件对一些重要的数据进行二次检测与恢复。同时，如果大数据系统的网络架构产生很多流量的时候，流量会发生信息过载的情况。但是随着5G时代的到来，我们相信这些问题都将得到解决。

5 总结

本文通过对两种典型优秀的IT架构，分布式架构和微服务架构，在大数据时代起到的推进过程进行了详细的研究，分析了这两种架构在企业和个人搭建大数据平台过程中能够起到的架构贡献，也分析了这两种架构在目前的大数据处理过程中仍然存在的一些不足，以及需要在以后的计算机技术发展中优化的地方。IT架构是一个软件系统建设的基石，优秀的系统离不开优秀的IT架构，大数据时代的蓬勃发展离不开不断改进优化的优秀的IT架构，优秀的IT架构也得益于不断发展的社会和个人的需求。只有不断地提出新的挑战，才能使IT架构的研究得到更好的发展动力与机会。

参考文献

[1]李标，徐进，邱红桐，基于云计算技术的新一代公安交管信息系统架构研究[A].中国智能交通协会，第十四届中国智能交通年会论文集[c].中国智能交通协会：中国智能交通协会，2019：9.

[2]杨秋鸿，潘晓衡，赵铁柱，姚锦涛，董辉，基于分布式存储架构的大数据商务智能分析与应用[J].东莞理工学院学报，2019，26 （05）：56-61.

[3]高文洁，以大数据思维促进商业银行内部审计发展转型[J]，财富时代，2 019 （10）：113.

[4]沙金，大数据安全的技术架构和管理策略研究[J].现代计算机，2019 （30）：45-48+5 3.

作者简介

王军利（1973一），男，河南省沁阳市人。大学本科学历，高级职称。研究方向为企业信息化、IT架构设计、数据库。