教学资源共享平台云存储性能优化设计
2018-12-22苏叶健
电脑知识与技术 2018年33期

摘要:教学资源共享平台云存储功能是基于Hadoop框架而设计,教学资源具有文件数量庞大,小容量文件占比较高的特点,Hadoop HDFS文件系统对小文件访问效率较低,通过构建小文件合并存储的索引结构及合并算法,解决小文件存储效率问题,实现对云存储性能的优化。
关键词:教学资源;共享平台;优化设计
中图分类号:TP393 文献标识码:A 文章编号:1009-3044(2018)33-0018-02
1 引言
本文阐述的教学资源共享平台是基于云存储技术应用层的业务系统,众所周知教学资源包含课件、教案、教学案例、教学视频、历届学生课程考试作品、参考资料等内容,文档数目多,数据容量庞大,若不注重平台性能优化设计,随着系统运行不断数据积累,系统性能问题逐步呈现,需要从低层到顶层综合考虑性能优化的设计问题。
2 教学资源共享平台的性能问题分析
教学资源共享平台性能问题主要集中在数据检索速度随着数据量的日益增长而下滑,系统并发量的增长而导致性能下滑,数据库及WEB服务死鎖导致服务器资源耗尽,在叠加网络基础设施外围不利因素影响下,平台访问性能表现在数据拥堵,甚至系统崩溃。
教学资源共享平台为了解决存储扩展及服务伸缩能力,系统设计划分为存储层、基础管理层、应用接口层、访问层,并采用Hadoop作为分布式数据存储和计算框架。由于系统基于Hadoop框架技术进行设计,通过分布式文件系统HDFS实现的数据存储集群。HDFS将文件数据拆分为若干Block(数据块)分布存储在不同的DataNode(数据节点)上面,并在NameNode记录元数据。……
登录APP查看全文
