刘扬 刘冰

摘 要学院综合管理信息系统，是学院开展各项工作的信息化方式和途径，在信息共享的同时，减少工作数据报送的重复现象，结合技术手段以实现工作效率的提高。本文从实际出发，从技术的角度，就目前本单位所使用的综合管理信息系统中存在的问题进行了深入研究和剖析，对系统性能进行了技术优化和改进，减少了碎片化数据的产生，提升了系统的整体效能。

【关键词】Hadoop 碎片化

在目前单位使用的综合管理信息系统中，应用层中体现为多用户并发访问系统出现数据传输过慢造成大量的数据延迟，系统卡死以及用户掉线的情况。在系统底层体现为CPU和内存使用率长时间保持在较高状态。

为了优化并提高系统整体效能，从根本上解决系统碎片化处理问题，找到解决碎片化处理的方法和机制，所以我们进行了本次实验。

实验环境如表1所示。

实验选取功能相对VirtualBox更强的VMware Workstation虚拟机软件，以学院服务器使用的Ubuntu 16.04作为虚拟机的操作系统，同时使用稳定的Hadoop-2.7.4部署伪分布式Hadoop实验环境，Hadoop的源代码由Java实现，故选取稳定的Openjdk-8-jdk版本进行Java环境的配置。

在完成伪分布式hadoop部署后启动hadoop将预先准备好的75K个文件从本地存储到hdfs分布式文件系统中，在一次性存储如此大量文件时，虚拟机出现了短暂性死机情况，几分钟后，shell出现大量警告，如图1。

着手开始分析出现警告的原因，使用hdfs shell命令查看hdfs分布式文件系统上存储数据的文件，发现只有部分文件被成功的从本地存储到分布式文件系统，这说明所执行的命令没有错误。……