苏礼

【关键词】大数据;数据安全;数据隐私;危机;数据加密

随着大数据时代的到来，当下社会的各行各业都发生了巨大的转变，人们的工作和生活实现了信息化与智能化的转变，利用计算机网络为基础的通信、网络服务等信息基础设施在人们的生活中也扮演着越来越重要的角色。近年来，随着传感器等研究领域的不断创新，移动设备、云计算系统、社交媒体、物联网等计算机及网络技术的蓬勃发展，面对互联网海量的数据业务、数据迭代更新等特点，各类数据所存在的安全问题凸显，因此研究新形势下大数据的信息安全及安全预防技术具有非常重要的意义。世界各地也在积极探索大数据背景下的信息安全等相關技术，在保障大数据稳步发展的前提下，通过大数据的应用，为我国的经济提升和社会稳定提供充分的保障，同时维护大数据信息的使用安全，达到数据技术的可持续发展。

（一）大数据的概念及发展

大数据一般是指以计算机和网络为基础的，通过数据的分类、挖掘等方法，获取数据潜在的内部规律，从而实现对数据分析，得出新信息，找出有价值有意义的数据，通常与云计算有着紧密地联系。同时要求对数据信息处理更加的高效、并且智能地从海量信息中找到可以进行利用的数据。大数据不单单是指数据规模大、数据数量多，尤其是数据的类型较为复杂多变，例如包括视频音频、文字图片等等。当今聊天工具、直播平台和微博博客以及购物平台等信息传播方式的转变，产生了越来越多的数据，因此对数据的处理质量也有着较高的要求，尤其对这些海量数据的分类及安全性的研究，一直是许多科研工作者广泛研究的课题之一[1]。

大数据按四个V对数据进行了分类，即速度、种类、真实性、体积。这些特征性为大数据的识别提供了独特的功能，同时，这些特点也导致了数据隐私技术和数据安全问题的产生[2]。在本文中，笔者针对这些问题和挑战，提出了一种在工具和技术方面的补救方法。

（二）大数据面临的主要挑战

大数据面临的主要挑战主要分为以下几部分，即不安全的计算能力、输入和验证过滤、精细访问控制、不安全的存储数据、隐私问题等。大数据背景下的信息安全涉及范围较广，一般可分为：系统安全、环境安全、程序安全、数据安全四个方面。当下进入大数据时代下，网络信息已渗透到每一个人的工作和生活中，因为在互联网中充斥着大量流动的信息，因此大数据的信息安全即成为网络应用中最突出的问题之一。考虑到以上场景中的这些挑战，我们可以使用一些大数据工具和技术加以优化[3]。

大数据的体系结构包含许多技能，例如开发可靠的自动化数据管道。实际上，大数据没有特定的标准化体系架构，这也是一项新的研究领域，例如速度、体积、延迟、真实性、可扩展性等特征，容错也刚刚成为大数据架构的关键和重要特征。大数据还有许多其他的内在属性，如自动分层、容易转移等[4]。除了传统的数据源之外，还可以使用许多其他在线资源来完成数据源整合。Map-Reduce提供了更灵活、更强大的执行编程范式框架，程序分为多个数据节点执行各自的数据节点，最后将其缩减为单个集合的结果。

（一）大数据安全面临的挑战

大数据的安全机制并非普遍薄弱，点对点的安全机制是大数据处理方面最好的机制之一。通过使用并行性、自动分层等特性，可获得更加有效的安全机制[5]。

1、数据挖掘中的隐私问题：数据挖掘概念在隐私方面存在许多问题，而且给分析结果赋予了很多挑战，比如信息披露、公私密钥的披露等。

2、不安全的数据存储：数据的身份验证和授权是最主要的问题，从数据的存储到交付至数据管理节点，可能经历不安全的数据计算、身份验证、授权、数据加密和不安全的介质等。

3、不安全的计算：不受信任的计算编程范式。攻击者使用不安全的数据计算来获取数据中的敏感和机密信息等资源，不仅会造成信息的泄露，还会破坏数据，导致分析和预测的结果不准确或无效。

4、在DOS输入验证和过滤中：拒绝服务（DOS）也将影响在输入验证中和访问大规模并行编程语言的禁用。由于大数据需要收集各种输入信息，因此，它需要一个更严谨和更可靠的验证输入，以及一个过滤恶意数据的过滤器。

考虑到上述这些挑战，可以通过某些方案加以解决，如密码学、安全计算数据存储、实施综合输入验证等。处理大数据需要更快计算响应时间，并加入安全含义。本文将在下面的章节中，讨论上述两个解决方案[6]。

（二）大数据安全的密码解决方案

在Hadoop中，没有算法来加密或解密机载数据，即本地数据和HDFS文件系统。Hadoop工作在Linux平台，所以它使用Linux本地系统作为临时存储系统。在Map-Reduce任务处理后，Map-Reduce的输入进入本地以及HDFS（在用户的帮助下）。Hadoop只有一个端到端的安全系统Kerberos。Kerberos是一种基于跟踪用户对特定服务的访问和系统限制决策的服务。仅提供安全网关来限制访问Hadoop环境中不需要的或未经授权的用户和服务，基本可以认为是Hadoop的策略管理器。首先假设，如果未经授权的用户获得了Hadoop环境的许可，那么整个Hadoop系统就会受到损害，它将导致数据失窃或数据丢失，为了确保这个循环漏洞，我们可以创建一个RSA+AES加密和解密算法的系统，这样，即使Hadoop系统受到威胁，HDFS或本地中的数据也不会受到影响。数据在加密和解密时，只提供一次写入和多次读取的机会，并被保存在文件系统中，用户使用密钥组合以及一些支持的文件来打开（解密）该文件以供使用。这是一个自动化的过程，如果用户在读取文件后关闭此文件，并要求再次读取该数据文件时，则需要提供密钥和使用文件组合来再次读取[7]。

MapReduce框架能够使用分布式计算来处理数据。这是一个编程模型和一个处理大数据的分布式计算框架。可用于编写自动可扩展云环境中的分布式应用程序。此框架可自动扩展和并行化算法，负责对数据的数据新型分区、调度、同步和处理故障，让程序员更专注于开发算法并尽可能的减少后台任务。MapReduce被认为是最可持续和最强大的大数据下的编程范式。

在大数据隐私范式中，对敏感和机密数据的隔离非常重要。几乎所有内部和外部数据来源的过滤都必须是强制性的。需要对大数据源和解决方案进行关键性输入验证和过滤特性的评估，从而证实数据源能否进行扩大数据需求和安全问题处理。通常有两种预防的方法，攻击，当存在不安全的隐患时映射器保护数据，同时完整地保护映射;为敏感数据启用数据节点加密，验证所有相关组件的API安全的正确配置等。这些算法用于数据的分析和预测，必须及时验证分类和回归，以便敏感数据得到及时敏感化。当然，这也会降低敏感和机密数据的泄露率，但这是为大数据中使用的预防措施而建立的测试和分析，这点很重要，而且必须经过渗透测试。

随着大数据技术的发展，与之相关的安全问题也在发展，数据安全问题必须成为人类一直研发和发展的重要课题之一。只有新创建的海量数据形式，要配有新的应用程序和驱动算法来进行数据分析，并开发实时监控数据安全技术，也相应研发维护数据安全和隐私策略的特殊方法，才能不断的应对和解决不断变化的数据安全问题。