郭学兵



基于Python的并行编程技术在批量气象规范报表入库处理中的应用

郭学兵

（中国科学院地理科学与资源研究所生态系统网络观测与模拟重点实验室，北京 100101）

为满足中国生态系统研究网络（英文全称Chinese Ecosystem Research Network，简称CERN）对大批量气象规范报表（Excel格式）进行高效快速转换并载入数据库的需求，作者在对当前流行的并行编程方法和技术进行对比研究的基础上，提出了利用Python的多进程编程技术实现报表处理的方案，建立了CERN气象规范报表的抽象数据转换模型，并编写了多进程并行处理程序，实现了将大批量气象报表的快速转换载入Oracle数据库的功能。同时，作者对多进程编程的不同参数设置情景下的转换效率进行了测试、比较和分析。实验结果显示，利用Python并行编程技术可以充分利用计算机硬件的潜力和性能，从而大大提高处理效率，且方法简便、事半功倍。作者最后进一步建议通过利用Parallel Python软件包，可更充分利用计算机多核性能，更大程度提高处理效率。更加满足CERN日益增长的数据快速处理需求。同时本文为类似数据处理需求提供了可借鉴的参考方案。

中国生态系统研究网络；CERN；python；并行编程；多进程；气象；报表；转换入库

0 引言

中国生态系统研究网络（英文全称Chinese Ecosystem Research Network，简称CERN）始建于1988年。目前，CERN包含覆盖全国主要类型区（农田、森林、草原、荒漠、湿地、湖泊、海湾生态系统等）共计44个野外生态站，另有水分、土壤、大气等5个学科分中心和1个综合中心。CERN与美国长期生态研究网络（US LTER Network）和英国环境变化网络（ECN）并列成为世界最为重要的国家级生态系统网络，是中国生态学领域的重要观测、研究、示范基地[1]。……