白俊，王新，耿昕

（1.北京京北职业技术学院机电工程系，北京101400；2.中国石油大学计算机系，北京102249）

中小规模分布式文件系统集群构架的优化方案

白俊1，王新2，耿昕2

（1.北京京北职业技术学院机电工程系，北京101400；2.中国石油大学计算机系，北京102249）

针对分布式文件系统的应用存在处理小文件效率不高的问题，提出一种适用于中小规模分布式文件系统集群的应用架构，将传统分布式文件系统集群中的内网划分为两个子网：对外子网和对内子网，对外子网中传输与外网之间的交互数据，对内子网中传输分布件系统集群的管理数据。每个数据结点同时与对外和对内两个子网连接，并代替名称节点负责与外网直接的数据交流；名称节点本身只与对内子网连接。对外子网与外网之间使用防火墙设备加强安全性，并使用负载均衡设备将来自外网的数据请求合理的分配到每个数据节点上；增加了缓存机制对系统处理小文件操作进行优化，部署实验环境，设计一个测试程序对缓存效率测试，对1000个100KB的文件，通过模拟多线程连续读取大量文件来测试缓存的性能，实验证明系统设计方案可行，增加磁盘缓存有利于提高系统处理小文件的存取效率，系统优化效果显著.

缓存；中小规模分布式文件系统；管理数据

0 引言

当前，如何更为有效而又廉价地处理海量的用户数据，已经成为互联网公司普遍面临的一个难题.传统的企业架构采用企业级服务器或者小型机等高端硬件，并搭配昂贵的企业数据库软件，不但给互联网公司增加了非常高的运营成本，一定程度上阻碍了互联网公司的发展；……