刘熔熔 封秀燕 马仙妹 钱惠文

(浙江省气象信息网络中心,浙江杭州310017)

浙江省历史地面气象报表数字化处理和应用

刘熔熔 封秀燕 马仙妹 钱惠文

(浙江省气象信息网络中心,浙江杭州310017)

介绍历史地面气象报表数字化处理项目建设内容,纸质报表扫描、数据录入、数据文件转换、质量检查,数据集制作等报表数字化技术方法,针对质量检查中遇到的一些问题及处理方法,进一步提高气象数据的准确性。获取时间序列长、空间和时间分辨率更高的气象资料,尤其逐小时风、降水和日照资料,对浙江省精细化预报服务和气象能源开发取得较大的推进作用,提升了气象数据共享服务能力。

历史地面气象报表;数字化;处理;应用

0 引 言

我国地面气象记录报表的数字化处理工作始于上世纪70年代末,目前全国2400个国家基本(准)站和一般站已基本完成建站至2008年地面气象月报表中基本定时观测资料的信息化(A0/A1文件),680个国家基本(准)站已完成1991—2008年风向风速、降水和日照自记月报表的信息化(A6/A7文件),560个国家基本(准)站已完成1961—2000年降水自记纸图像扫描和数字化处理工作,这些数据在气象业务、科研和其它社会部门中得到广泛应用,发挥了重要作用。

浙江省共68个国家基本(准)站和一般站已基本完成建站至2008年地面气象月报表中基本定时观测资料的信息化(A0/A1文件),19个国家基本(准)站已完成1995—2008年(部分站1997—2008年)风向风速、降水和日照自记月报表的信息化(A6/A7文件),19个国家基本(准)站已完成1961—2000年降水自记纸图像扫描和数字化处理工作,这些已经信息化的资料为浙江省气象预报、科研、气候应用发挥了重要作用。地面历史报表数字化项目的完成,将会为浙江省气象业务、科研和服务提供更多的信息化数据资料,为进一步提升历史气象资料共享能力提供良好的基础。

1 历史地面气象报表数字化处理重要性及意义

历史地面气象报表是记载气象资料十分宝贵的财富,早期的大量地面观测资料都停留在纸质报表上,虽然在气象业务和科研中发挥了重要作用,随着现代气象业务的快速发展,气象纸质报表档案资料不再适应现代气象业务需求,迫切需要开展未信息化的报表资料数字化。

随着气象业务和社会的发展,需要时间序列长、空间和时间分辨率更高的气象资料,特别是精细化预报服务和气象能源开发,对逐小时风、降水和日照资料的需求尤为突出,这些资料大多以纸质报表和图纸的形式保存,无法被有效利用。另一方面由于年代长、保存条件差,许多纸张已经出现不同程度的变质、字迹变淡等现象,急需尽快地拯救和保护。现代化设备的发展与更新,信息技术的提高与逐渐完善,为以纸质为载体的大批量气象资料进行数字化处理提供了可行的基础。历史地面气象报表数字化对保护历史气象记录档案,提高气象资料资源应用共享水平有重要的作用。

2 历史地面气象报表数字化处理

历史地面报表数字化主要是对1951—2000年的气表-4、气表-5、气表-6和相关气表月总薄、气表-1进行数字化处理。制定相应的业务流程,建立数据质量保障体系,对历史地面气象报表进行图像扫描及处理,开发专用软件进行数据录入、数据文件转换、质量检查等工作,最后进行数据集制作。

2.1 浙江省历史地面气象报表数字化处理内容

将浙江省所有没有信息化处理的1951—2000年气表-4、气表-5、气表-6、气表-8图像扫描和资料录入以及1961年后的气表-1日照、1980年后的降水和风向风速资料的图像扫描和数字录入,建立逐时气压、气温、相对湿度、降水、风向风速、日照和逐日电线积冰报表图像文件数据集和降水、风向风速、日照数字化文件数据集。

2.1.1 历史地面气象报表资料图像扫描

按照馆藏报表的卷册详细登记报表种类、站名、区站号、年、月、版面规格和数量,填写台站信息说明表,对破损或脆化厉害的应进行备注,提醒扫描时注意保护。图像扫描格式为标准型.jpg图像文件,对每页图像文件建立名称和日期索引。扫描幅面大小为A3或16开,扫描设备可选用A3幅面平板扫描仪或非接触式书刊扫描仪。扫描参数根据资料原件的质量状况和应用需求来确定,主要包括扫描分辨率和色彩模式。字迹清晰可辨的,建议采用黑白二值扫描,扫描分辨率不低于300dpi;纸张和字迹状况不良或有多种颜色字迹的,建议采用彩色方式扫描,扫描分辨率不低于150dpi。扫描后图像要求进行后期处理,利用软件去除扫描过程中造成的图像杂点和脏点;进行图像纠偏处理,图像偏度不得大于3°,以达到视觉上基本不感觉偏斜为准,应避免重张、倾斜、模糊等图像质量问题,确保报表不重复扫描、不漏扫,保证文档顺序准确。

2.1.2 历史地面气象报表资料的录入和转换

按照中国气象局项目技术组统一制定和下发专用的历史地面气象报表数字化录入格式,包括气表-4录入格式、气表-5录入格式、气表-6录入格式、气表-8录入格式,采取“两录、两校、两验”的方式,按照相应资料录入格式,原则上确保录入数据与报表数据排列格式保持一致。

开发编制软件,将录入气表-4、气表-5、气表-6、气表-8录入格式文件数据转化为历史沿用的历史地面月报表信息化文件格式,即地面气象月报表A6文件格式数据,形成统一长序列数据集,便于数据应用。

2.2 数字化成果质量检查

2.2.1 图像文件质量检查

扫描图像的质量直接影响到资料数字化录入的效果,因此必须对扫描形成的图像文件进行严格的质量把关。质量检查的要求是保证本次数字化扫描图片的清晰、完整和有序。

2.2.2 录入数据文件质量检查

录入数据文件的质量直接影响到最终数据集的质量,录入数据文件进行严格的质量检查。针对数据特点开发格式检查软件和质量检查软件,分别进行文件首部检查、数据天数检查、数据组数检查、数据正确性检查、合计值检查、界限值检查等。对于检查程序提示的错情,逐条人工审核、修改,并形成错情说明文档保存备查。

2.2.3 A6格式数据文件质量控制

研制专门质量检查软件,对A6格式数据文件进行质量检查。对于检查程序提示的错情,需逐条人工审核,并给出错情说明。

2.2.4 图像文件和数据文件综合质量检查报告

基于质量控制检查结果,认真编写图像和数据文件综合质量检查报告,作为最终数据集质量检查和评估的重要参考文件。将数字化图像和数据文件进行质量检查的结果、数字化录入数据文件和A6格式数据文件质量检查错情说明和处理等情况,综合制作数据质量检查报告。

2.3 数据集制作

按照中国气象局气象数据集制作统一标准,严格按照有关标准和要求,统一的气象数据集元数据模版,气象数据集说明文档模版,建立浙江省国家基本(准)站和国家一般站1951—2000年自记记录逐小时降水、风向风速、日照和逐日电线积冰报表图像文件数据集和数字化文件数据集。

图像文件数据集包括数据集实体文件、资料的元数据文档、数据集说明文档、台站信息说明文档和readme;数字化文件数据集包括数据集实体文件、资料的元数据文档、数据集说明文档、所有原始报表的错误信息文件、数据集质量评估报告、质量控制方案说明文件、台站信息说明文档、原始报表错误信息说明文件、文件格式说明文件和readme。

3 质量检查中出现的问题及处理方法

3.1 日照自记记录出现的问题及处理

3.1.1 日照时数与小时日照不相符

早年代的原始报表一般采用手工抄写,这样就存在一些抄错和合计计算错的现象。

(1)上下行抄错,一行小时日照为空,但合计栏却有数字,而在下一行刚好相反,小时日照有相应的值,合计栏却为0.0,两天的合计值刚好对调。这种情况先从台站查看原始日照自记纸,在日照自记纸销毁,无从查证的情况下再对这两天的日照时数进行判断,先从天气现象和降水量去判断,查看当天有小时日照的时间段是否有降水量,确定哪一天真正有日照,如果两天的天气现象差不多,再从云量和气温去判断,前后两天一般云少,气温高的有日照的可能性大。

(2)小时日照和合计不一致,这种情况只要通过重新计算小时值就可以重新统计正确的日合计值以及月合计值。如果是行合计和列合计都与计算值不一致,那就要去查自记纸,很可能是报表抄写的时候抄错。

3.1.2 出现莫名的日照时数

(1)有日合计值,但没有对应的小时值。这种情况一般通过查看本月报表的备注栏,是否有对该记录进行备注。本项目碰到以下两种情况为正常值:一是该日的日照缺测,根据当时观测员记录前后两天的天气情况相似,故用前一天或者是后一天的记录代替;二是该日的日照缺测,用临近站该日的日照合计值代替。

(2)在小时日照值里出现大于1.0的值。小时日照值的最大值就是1.0,出现大于1.0的小时值理论上肯定是错的,但是在报表备注中也会有特殊情况的说明,例如58653站1972年8月14日的日照,在18—19时出现了3.3,在备注中注明下午日照计被人转动,13时后的各时日照总量3.3记在18—19时,对日合计值不影响。

3.2 降水自记记录错误的处理方法

降水自记记录错误常见情况有2种:一是降水自记日合计值统计错误,一般通过重新统计计算小时值、日合计值及月合计值即可解决;二是因自记仪器故障导致小时降水量缺测,日合计值用相应时段的定时降水记录代替,一般在查看报表备注栏就可以确定记录是否正常。

3.3 风向风速自记记录错误的处理方法

风向风速自记记录错误常见情况有3种:一是日合计值统计错误,一般通过重新统计计算小时值、日合计值及月合计值即可;二是早年代的风向风速自记记录月报表中存在静风C,但风速大于0.3m/s,这种情况只能采取与原始报表一致的原则处理;三是风速自记仪器故障用实测值代替时是取整数的,与自记记录保留一位小数不同,在日合计值容易出现错误,这就需要认真的校对来避免这种错误的存在。

4 历史地面气象报表数字化成果应用

历史地面报表数字化,将本省70个国家基本(准)站和一般站已基本完成建站至2000年地面气象月报表图像文件数据集,完成建站至1995年地面气象月报表中风向风速、降水和日照自记月报表的信息化(A6文件),形成建站至今逐小时风向风速、降水和日照长序列数据集,这些数据将在气象预报预测、气象公共服务、气候业务、气象科研和其它社会部门中得到广泛应用,在气象资料服务和防灾减灾中发挥重要的作用。

4.1 图像数据集的应用

图像文件数据集包含了浙江省1951—2000年地面气象月报表图像,含气表-1、气表-2、气表-4、气表-5、气表-6、气表-8。随着图像文件数据集的建成,可以为用户提供地面气象报表图像的电子化查阅,并且实现多用户同时查阅服务,提高效率。例如:在校对检查历史资料、制作台站历史沿革以及服务资料的数据查询上,实现多用户同时查阅地面气象报表图像数据资料,提高了效率。此外,较大丰富电子信息化档案数据,为实现气象档案信息现代化管理平台建设奠定了基础。

4.2 数字化文件数据集的应用

历史地面报表数字化,将本省70个国家基本(准)站和一般站形成建站至今逐小时风向风速、降水和日照长序列数据集,在气象业务、气象科研、气象服务发挥重要作用,具有广泛的应用前景。遍布全省长序列的逐小时降水量数据集,对研究1h,3h,12h降水、暴雨预报,为短时临近精细化降水预报研究提供重要的数据基础,尤其暴雨研究可改变传统以日界(24h)固定时间段,提高暴雨预报准确率。遍布全省长序列的逐小时风向风速数据集,对研究大风历史分布规律,提高大风预报能力,特别是风能发电,海岛风能开发应用研究提供更丰富的历史数据。全省长序列逐小时日照数据集为太阳能开发应用研究提供基础数据,提升全省清洁能源开发利用能力,推进生态省建设具有重要意义。

5 结 语

通过历史地面报表数字化,建立浙江省国家基本(准)站和国家一般站1951—2000年自记记录逐小时降水、风向风速、日照时间序列长、空间和时间分辨率更高的气象资料。方便业务科研人员快速检索查阅,为气象业务和科研工作提供更好的服务,对浙江省精细化预报服务和气象能源开发取得较大的推进作用,提升了气象数据共享服务能力。同时为其它气象记录档案数字化开展积累了丰富的经验,为气象档案现代化管理建设提供信息化数据基础。

[1] 阙东兰,王金平,涂 明.谈黑龙江省林业、农垦气象站历史资料的信息化处理和审核分析[J].林业勘查设计, 2009(3):73-75.

[2] 中国气象局预报与网络司.历史地面气象报表数字化项目材料汇编[G].2009.

2010-10-27