赵方宇

（北京景山学校远洋分校，北京 100040）

1 大数据和人工智能的基本概念

随着计算机技术的发展，人们希望计算机能够在某些方面达到人类水平从而替代人类以改善我们的生产或生活。比如，工业机器人可以替代工人在流水线上持续工作，自动驾驶汽车可以解放驾驶人的双手。这些应用都离不开人工智能技术的发展。目前，计算机只能实现针对某些特定领域的人工智能，比如AlphaGo在围棋领域能够战胜人类高手。人工智能取得的成绩离不开对海量历史数据的分析和挖掘。而这些数据通常具有容量大、更新速度快、格式多样、信息价值密度低等大数据特点，因此采用传统的数据处理方法难以有效地获取、存储、管理和分析这些数据，这就需要开发大数据技术去处理这些问题。此外，大数据技术在处理海量数据过程中需要相应的人工智能技术提供辅助，比如通过传统的统计机器学习方法对数据进行分类。总之，大数据技术中的信息处理，需要人工智能的帮助；而人工智能技术中的数据处理，又需要大数据技术的帮助。

2 大数据和人工智能的关系分析

2.1 大数据的必然性分析

大数据技术的发展提高了计算机处理海量数据的能力，同时加快了人工智能相关技术的变革，尤其是深度学习技术在多个领域广泛有效的应用，包括语音识别、计算机视觉、自然语言处理等。人工智能技术及其应用的广度与深度都发生了深刻变革，而这些变革的重要推动力主要源于大数据技术发展带来的必然性影响。

具体来说，从早期图灵对机器智能的探索到后来与认知科学、心理学的结合再到现在深度神经网络的应用，其研究发展方向慢慢转向对大数据的依赖。早期人类对人工智能的认识局限于直接打造具有人类思维的机器人，但是这种纯粹模仿人类的方式忽略了机器的本质特征，因为机器尤其是计算机的优势在于能够快速且可靠地进行计算和处理数据。随着大数据的发展，海量数据获取的能力不断提高，深度学习技术的发展得到了很大改善。深度学习在语音、视觉、文字等相关领域的优秀表现充分展现了其强大的学习能力，即从大规模的数据中学习调整自身的参数，从而准确的表达相应的数据分布，实现相关的分类或者预测任务。其中，数据在其中发挥了原材料的作用，尤其是神经网络层数的增多需要的数据量也会成指数级增长。比如AlphaGo使用的强化学习技术，该技术需要机器算法自我更新迭代。AlphaGo需要从大量的人类对战棋局中学习出何种对弈方式会大概率取胜从而不断调整落子的决策，这对于人类来说是不可能完成的学习任务。具体来说，AlphaGo主要分为两大部分，分别是落子决策网络和价值评估网络。落子决策网络通过每个落子后可能的结局预测下一步应该落在哪个位置胜率更大，而价值评估网络则是用于预测对手可能的决策，从而更加准确地预测棋局走向。这些网络模型的训练过程需要大量人类对战棋局作为训练集，从而学习出更加准确的模型参数。此外，深度学习技术在计算机视觉领域的突出表现也是源于海量数据的获取和处理。比如人脸识别中使用的卷积神经网络就是通过大量人脸图片训练出网络的参数。这些参数从不同层面表现了人脸图片的内在信息，比如是否是长头发，是否是黑眼睛以及是否戴眼镜等等。最后，大数据技术也在人工智能的一些新兴应用中发挥着巨大的作用。比如智能制造业中需要完成智能管理，智能装配，智能营销等过程，每个过程都需要大数据技术提供支撑，因为从海量数据中挖掘的有效信息可以指导制造过程，使管理更加便捷，使制造的产品更少出现残次品。因此，大数据为人工智能技术的发展与应用提供了强有力支持。

2.2 人工智能的促进作用分析

大数据技术主要针对大规模无规则数据的处理，包括数据的采集、存储、管理以及挖掘使用。同时，这些处理过程的改善越来越依赖于人工智能技术的的参与，可以说大数据的一些关键技术也属于人工智能的范畴。因此，人工智能的快速发展也促进了大数据相关技术的发展。

首先，人工智能技术的使用可以加快大规模数据的采集过程以及提高采集到的数据质量。传统的数据采集只能按照某种匹配模式抓取数据，但是不能实时监控数据质量，造成采集到大量无效或者低价值密度的数据。人工智能技术的应用可以通过分析数据分布去除冗余数据，通过精确定位数据来源有针对性地提取重要数据。其次，人工智能技术优化了大数据的存储过程。通过人工智能相关技术分析存储好的大数据，我们可以提炼大数据的内在特征并压缩大数据从而用更少的数据存储空间表示更大规模的数据。比如，谷歌大脑团队针对数据库中的索引结构提出相应的深度学习模型，即分别用深度学习模型替换B-tree，HashTable以及BloomFilter等索引。简单来说，通过学习欲存储的数据的分布情况，他们分别得到相应的深度学习模型的参数，然后用训练好的模型替代数据库的索引，虽然损失了一些查找的精确度，但是大大降低了查找的时间以及空间复杂度，从而提高了存储效率。最后，人工智能技术在大数据的使用挖掘中发挥了不可替代的作用，使大数据的应用效率不断提高。例如，基于人们出行的轨迹大数据，一些打车软件会利用人工智能技术分析乘客出行数据特征并对用户进行画像，然后针对乘车需求规划路径以及给司机派单，从而可以针对不同的订单数据合理分配车辆满足人们的出行需求。此外，我们日常使用的新闻推荐软件、电商购物软件等，都是通过大量用户使用情况的数据给用户精准定位，分析用户的喜好，然后个性化推荐相应的服务，其中这种个性化推荐流程离不开人工智能技术的应用。总之，大数据发挥价值的重要手段就是使用先进的人工智能技术不断地从数据中挖掘有效信息然后表示为相应的知识并用这些知识更好地服务于人。

3 结束语

近年来，人工智能技术在多个领域的应用中取得了良好的效果。通过分析人工智能的发展历史，我们发现其在特定领域取得良好的效果离不开大数据的支撑。本文通过分析发现，大数据在人工智能的一些关键技术以及应用中起到了必然性作用，而人工智能技术也同时促进了大数据处理技术的发展。但是，大数据技术在人工智能中的应用中依然面临着一些挑战，比如以深度学习为代表的神经网络技术对数据的可解释性差。其次，人工智能技术在使用大数据的过程中需要更多地考虑数据安全以及用户隐私保护，所以需要进一步规范数据的使用以及完善相应的安全策略。总之，大数据和人工智能的结合，是实现计算机达到人类智能水平目标的有效手段。