陈 静

(1. 同济大学 上海200092；2. 天津中石化工物流有限公司 天津300270)

基于Hadoop云计算平台的文本处理算法的研究与改进

陈 静1,2

(1. 同济大学 上海200092；2. 天津中石化工物流有限公司 天津300270)

Hadoop是Apache基金会下的一个开源分布式计算平台，以分布式文件系统HDFS(Hadoop Distributed File System)和 MapReduce分布式计算框架为核心，为用户提供了底层细节透明的云分布式基础设施。在对 Hadoop进行深入分析和研究的基础上，搭建基于 Hadoop的云计算平台，并完成分布式文本文件处理任务以及对文件文本内容处理算法的改进和实现。

云计算 Hadoop 数据去重算法 HDFS MapReduce

0 引 言

云计算是一种按使用量进行付费的模式，这种模式提供可用、便捷、按需的网络访问，使用可配置的计算资源共享池，共享池的资源包括网络、服务器、存储、应用软件、服务等，这些资源能够通过云计算平台快速提供给客户。它是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物，被称为是继大型计算机、个人计算机、互联网之后的第4次IT产业革命，将成为带动IT、物联网、电子商务等诸多产业强劲增长、推动信息产业整体升级的基础。而Hadoop是Apache基金会下的一款开源软件，实现了包括分布式文件系统和MapReduce框架在内的云计算软件平台的基础架构，并且在其上整合了包括数据库、云计算管理、数据仓储等一系列平台，已成为工业界和学术界进行云计算应用和研究的标准平台，旨在帮助更多的企业和个人认识和了解云计算相关技术，并利用此技术解决自身问题，从而带来一定的经济效益。……