大量气象数据小文件自适应优化传输
2014-07-07陆颖华马廷淮浩李德泉
应用气象学报 2014年5期
陆颖华马廷淮*曹 浩李德泉
1)(南京信息工程大学计算机与软件学院,南京210044)2)(国家气象信息中心,北京100081)
大量气象数据小文件自适应优化传输
陆颖华1)马廷淮1)*曹 浩1)李德泉2)
1)(南京信息工程大学计算机与软件学院,南京210044)2)(国家气象信息中心,北京100081)
为满足气象实时资料传输中大量气象数据小文件的高时效传输需求,对其中的数据传输服务进行优化,提出一种基于实时网络状况的自适应数据传输优化方法。该方法采用优化网络传输协议并使用文件压缩技术,通过获取网络传输线路上的实时参数,实时调整压缩参数和网络传输参数以优化传输性能。在自适应压缩时,通过试验分析和归纳,确立了气象数据小文件标准为文件小于50 KB;根据网络实时状况,设计了基于实时网络状况自适应调整压缩等级的算法。在自适应传输参数调优中,研究了TCP缓冲区大小和TCP并发连接数在Grid FTP协议中的重要性,针对实时网络状况,分别设计了自适应调整TCP缓冲区大小和TCP并发连接数的算法,算法提升传输性能65%。对以上提出各自适应参数调整算法进行试验验证表明,融合压缩和网络传输的自适应调优方法能显著提升气象小数据文件的传输性能近500倍。
气象数据;小文件;压缩;传输优化
引 言
气象观测资料作为各类观测的有效数据记录,是对天气过程进行预测及对大气活动规律进行研究的重要依据,其有效交换是气象业务和科研的基础。目前,通过国内……
登录APP查看全文
