APP下载

生物数据分析平台中的大文件多线程传输方案①

2021-10-11史若曦马俊才田园静张荐辕

计算机系统应用 2021年9期
关键词:效率方法

史若曦,马俊才,田园静,张荐辕

1(中国科学院 计算机网络信息中心,北京 100190)

2(中国科学院 微生物研究所,北京 100101)

3(中国科学院大学,北京 100049)

随着微生物数据的快速增长,研究者越来越重视微生物大数据的高效管理和分析.国家科学微生物数据中心建立了以云计算为基础的生物信息分析的数据平台[1],用户可以登陆网站,根据需求在线使用生物信息分析工具.由于网站面向所有用户开放,一般生物文件较大,HTTP 协议下云服务器端对文件接收大小也有一定的限制,用传统的插件技术、表单直传等方法进行文件上传时效率过低,网络波动或浏览器异常等突发情况导致上传中断时也需要对整体文件进行重复上传[2].所以,本文设计了一个与分片传输技术相结合的多线程传输方案,保证用户数据可以安全、快速的传递至云平台.

1 现状分析

1.1 相关技术

传统的基于Web 文件上传的方法有Form 表单上传,该方法要求表单里包含一个类型为file的输入文件框,与JavaScript 等技术结合,实现文件的上传操作.插件技术是另一种实现Web 端文件上传的方法,主要利用ActiveX、Huploader 等一系列插件实现文件上传,但是该技术容易因浏览器的设置导致插件运行失败,因此只适合在内网此类安全的内部环境使用[3].

除此之外,文献[4]提出了一种断点续传方案,大文件在Web 端分片后,通过计算出每片的MD5 值来做为其唯一标识符.当网络异常发生传输中断时,由唯一标识符来确定断点续传从分片相应……

登录APP查看全文

猜你喜欢

效率方法
提升朗读教学效率的几点思考
注意实验拓展,提高复习效率
学习方法
效率的价值
用对方法才能瘦
四大方法 教你不再“坐以待病”!
赚钱方法
捕鱼
跟踪导练(一)2
“钱”、“事”脱节效率低