李佳，陈葆德，徐同

（1.南京信息工程大学，江苏 南京 210044；2.中国气象局上海台风研究所，上海 200030；3.中国气象局台风数值预报重点实验室，上海 200030）

目标检验方法在高分辨率数值天气预报检验中的应用

李佳1，2，3，陈葆德2，3，徐同2，3

（1.南京信息工程大学，江苏 南京 210044；2.中国气象局上海台风研究所，上海 200030；3.中国气象局台风数值预报重点实验室，上海 200030）

基于高分辨率数值模式的特点，为了弥补传统站点对站点等检验方法的不足，采用基于目标诊断的空间检验方法MODE，对上海快速更新同化系统预报的2014年3月19日强对流降水和冰雹雷达回波进行了客观检验。该方法通过在空间场中识别目标，综合考虑了空间位置、形状、面积等多种因素，采用模糊逻辑算法计算预报和观测目标的相似度。结果表明，MODE在高分辨率数值模式检验中比传统方法具有明显的优势，尤其针对雷达回波的检验有较高的实际应用价值。同时讨论了MODE方法卷积平滑半径参数的选取对高分辨模式检验结果的影响。

目标检验；MODE；数值模式；雷达回波

近年来，随着高性能计算迅速发展，数值天气预报模式的分辨率得到很大的提高[1-2]。高分辨模式产品在空间上具有更多的小尺度的变化。当采用点对点的方法，用站点观测资料检验高分辨率模式时，易受小尺度影响，无法准确反映模式的预报能力[3-4]。因此除了使用常规的站点TS（Threat Score）、ETS（Equitable Threat Score）评分等来衡量高分辨率模式预报效果的好坏，近年来也发展了许多新的空间检验方法，如基于特征分析的检验技术将检验属性定义为目标[5-6]，在一定半径范围内相邻格点检验方法[7]，分析误差大小和空间尺度的尺度分离检验方法等[8]。MODE（Method of Object-Based Diagnostic Evaluation）方法是一种基于目标诊断的空间检验技术[6，9-13]。该技术综合比较预报目标和观测目标的位置、面积、形状和强度等，用来描述预报目标与观测目标之间的相似程度，避免了传统方法仅仅给出结论而无诊断信息的弊端，比如能从数值误差和其他误差中分离出落区误差等。近年来，国内对该方法展开了一些应用[14-17]。比如徐同、李佳等统计了2009、2010年汛期MODE方法在上海区域中尺度模式检验应用的结果，从模式降水预报的空间位置、面积比、质心距离、轴角差，强度等方面进行了检验分析[14-15]。但这些应用大都集中在通常的降水预报的检验中，在高时间频率同化的快速更新预报系统，特别是模拟雷达回波的检验应用尚未开展。本文拟将MODE方法应用于高分辨率的上海快速更新同化系统对强降水及其雷达回波的预报检验中，并简单讨论MODE方法卷积平滑半径参数的选取对高分辨模式检验结果的影响。

1 资料和方法

1.1 模式简介

2009年，上海 针对短时临近预报建立了快速更新同化数值预报模式系统（SMB-WARR，Shanghai Meteorological Bureau-WRF ADAS Rapid Refresh System），是上海精细化短临预报与服务业务最重要的技术支撑之一[2]。SMB-WARR系统基于ADAS（ARPSData Analysis System）资料同化系统和区域中尺度模式WRF（Weather Research and Forecasting）建立，分辨率为3 km，垂直分辨率为51层，预报区域覆盖华东及其周边地区。每日02时冷启动，冷启动的背景场和侧边界条件由NCEPGFS 6 h的全球预报场提供，其他时刻同化的背景场则由SMB-WARR系统上一时次的1 h预报场提供。每小时启动一次预报，预报时效为12 h，并提供逐小时高分辨率中尺度分析场。系统采用逐小时循环同化的方式对观测资料进行同化，实时业务的同化观测资料包括常规天气观测、机场地面报、船舶、浮标、自动站、飞机报、探空、雷达反射率和FY-2E红外和可见光辐射率资料[2，18]。

1.2 观测资料

降水资料采用中国气象科学数据共享服务网下载的“中国自动站与CMORPH降水产品融合的逐时降水量网格数据集（1.0版）”数据，该数据是基于全国3万余个自动观测站逐小时降水量和CMORPH卫星反演降水产品，采用概率密度匹配（PDF，probability density function）和最优插值（OI，optimal interpolation）两步融合方法生成了中国区域逐小时、0.1°×0.1°分辨率的降水量融合产品。雷达最大反射率拼图由雷达原始数据经ADAS分析，插值到模式格点生成。

1.3 方法介绍

MODE方法应用主要有3个步骤（图1）：（1）首先通过卷积—阈值过程识别原始数据场中的目标，（2）计算目标属性，（3）通过逻辑模糊方法，合并同场目标，匹配不同场目标，计算相似度。

卷积—阈值过程首先将原始数据场由滤波函数进行卷积，如式（1）所示：

图1 MODE方法应用步骤

其中，f代表原始数据场，ø代表滤波函数，C代表平滑处理后得到的卷积场。变量（x，y）和（u，v）均为格点坐标。滤波函数ø是一个由影响半径R和高度H决定的简单圆柱形滤波方法。如果x2+y2≤R2，ø（x，y）=H，否则ø（x，y）=0。其中参数R和H并不是相互独立的，满足πR2H=1。因此影响半径R是卷积过程中的唯一可调参数。一旦R确定后，H也确定了。

对卷积场C设定阈值T得到二值掩膜M，阈值以上的降水区域标记为1，阈值以下的区域标记为0，如式（2）所示：

原始数据被重新填充到二值掩膜M中获得重构场F。这些数据可以用于强度的检验和分析。

这样，2个参数——卷积半径R和阈值T控制着原始场识别目标的整个过程。对于确定的阈值T，卷积半径R是MODE方法识别目标过程中的唯一可调参数。卷积半径的选取依赖于具体的应用。通常，4个格点可以视为实际应用中的最小值，因为模式极少能实际描述尺度小于8个格距的系统[19]。目标面积的大小与卷积半径成反向变化。

目标一旦被识别后，就可以用各种各样的属性来分类和评估。目标属性有3个用途：（1）在同场（单一的预报场或观测场）中合并目标；（2）在不同场（预报场和观测场）之间匹配目标；（3）通过对比匹配目标（预报目标和观测目标）的属性，统计预报效果。多数属性都是几何学定义的,例如面积、质心、轴角、纵横比等。目标内的数值原始强度也是重要的属性，目前MODE可以计算出一些数值百分位数（例如0.25 th，0.50 th，0.75 th和0.90 th分位数），这些分位数反映了目标内部数值的分布情况。

在单个目标属性基础上,目标合并和配对时的属性诊断量可以有质心距离（两个目标之间的质心距离），面积比（两个目标面积之比），交集面积（两个目标之间重合的面积），轴角差（两个目标之间方向差）以及中位强度比（两个目标强度中位数之比）等。配对指在不同场之间匹配目标，合并指在同场中组合目标。在合并之后，独立的单一目标被认为是更大组合目标的一部分，组合目标的属性也可以采用单一目标相同的方法再次计算。目前，MODE采用模糊逻辑方法进行目标合并和配对。该方法客观应用了人类主观判断目标如何匹配的过程，允许在大量不同的属性基础上进行配对和合并。

使用模糊逻辑方法，计算相似度的公式如（4）式所示：

其中α1，α2，…为目标对之间的属性诊断量，Ii为相似度因子，范围从0～1，wi为权重系数，Ci为可信度函数。Ci用来调整属性的相似度贡献，使得相似度因子具有动态的权重。因为有时一个属性与其他属性有密切关系。比如目标形状越接近圆形（纵横比=1）时，轴角差的相似度贡献应该越小，可以设定为纵横比的函数。给相似度设定阈值，本文设为0.7。在阈值以上的两个场中的目标可以匹配。

2 检验个例

2014年3月19日下午，受冷暖空气交汇影响，长江以南地区出现大范围强对流天气，其中杭州、金华、台州、温州相继出现冰雹，以台州受灾最为严重，全市6县三区除三门、温岭、玉环外均不同程度遭受冰雹袭击，洪家国家气象站测得冰雹最大直径3.3 cm[20]。采用MODE方法对2014年3月19日17—18时1 h累计降水进行检验，预报数据为SMB-WARR模式系统2014年3月19日08时起报的17—18时1 h累计降水（图2a），实况见图2b。

图2 2014年3月19日17—18时的1小时累积降水量/mm

2.1 MODE检验结果

选取卷积半径为2个格点，阈值分别设定为0.1 mm，1.6 mm和7.0 mm。图3、4、5为MODE方法对快速更新同化系统2014年3月19日08时预报（17—18时）1 h降水的检验结果（鉴于观测资料缺失，本文对位于海上的预报和观测目标进行了遮蔽，下同），重点关注浙江东部的降水。MODE对浙江东部沿海强降水检验各个量级的目标属性见表1。

检验≥0.1mm的降水。预报合并目标（图3a，蓝色）和观测合并目标（图3b，蓝色）的相似度为0.93。预报合并目标中包含单个目标面积合计为10 403个格点，观测合并目标中包含单个目标面积合计为10 874个格点，面积差为471个格点，面积比为0.96，其中交集面积为5390个格点，并集为15 887个格点，该预报目标和观测目标并集区域内的TS评分为0.34。预报目标中心纬度28.29°N，中心经度119.06°E，观测目标中心纬度为28.52°N，中心经度为117.34°E，质心距离为57.29个格点。预报目标轴角为18.23°，观测目标轴角为6.87°，轴角差11.36°。预报目标长轴243.81个格点，短轴86.20个格点，观测目标长轴318.16个格点，短轴99.94个格点。从预报强度来看,预报目标的0.5 th分位强度为0.93 mm，对应观测目标0.5 th分位强度为0.62 mm，两者之比为1.5；预报目标0.9 th分位强度为10.25 mm，观测目标0.9 th分位强度为6.20 mm，两者之比为1.66。≥0.1mm的降水预报目标和观测目标面积大小较接近，走向较一致，总体相似度较高，TS评分较低，预报目标长轴偏短，为主要误差来源，降水强度较实况偏强。

图3 2014年3月19日17—18时1 h累积降水识别出的目标（卷积半径2个格点,阈值0.1mm）

检验≥1.6mm的降水。预报合并目标（图4a，绿色）和观测合并目标（图4b，绿色）的相似度为0.90。预报合并目标中包含单个目标面积合计为4032个格点，观测合并目标中包含单个目标面积合计为2911个格点，面积差为1121个格点，面积比为1.39，其中交集面积为577个格点，并集为6366个格点，该预报目标和观测目标并集区域内的TS评分为0.09。预报目标中心纬度28.26°N，中心经度119.95°E，观测目标中心纬度为28.49°N，中心经度为118.41°E，质心距离为51.50个格点。预报目标轴角为19.72°，观测目标轴角为20.37°，轴角差0.65°。预报目标长轴234.96个格点，短轴72.11个格点，观测目标长轴262.18个格点，短轴65.83个格点。从预报强度来看,预报目标的0.5 th分位强度为5.16 mm，对应观测目标0.5 th分位强度为3.19 mm，两者之比为1.62；预报目标0.9th分位强度为16.52 mm，观测目标0.9 th分位强度为9.04 mm，两者之比为1.83。≥1.6mm的降水预报目标和观测目标位置接近，走向一致，形状相似，总体相似度较高，TS评分低，预报面积偏大，为主要误差来源，降水强度较实况偏强。

表1 2014年3月19日17—18时1 h累积降水各量级的MODE目标属性

检验≥7.0mm的降水。预报合并目标（图5a，红色）和观测合并目标（图5b，红色）的相似度为0.76。预报目标3的面积为660个格点，观测目标3面积为202个格点，面积差为458个格点，面积比为3.27，其中交集面积为16个格点，并集为846个格点，该预报目标和观测目标并集区域内的TS评分为0.09。预报目标中心纬度28.6°N，中心经度121.28°E，观测目标中心纬度为29.26°N，中心经度为121.46°E，两者之间的质心距离为25.06个格点。预报目标轴角为64.24°，观测目标轴角为60.15°，轴角差为4.09°。预报目标长轴39.75个格点，短轴26.24个格点，观测目标长轴20.35个格点，短轴16.14个格点。从预报强度来看,预报目标的0.5 th分位强度为15.58mm，对应观测目标0.5 th分位强度为12.61 mm，两者之比为1.24；预报目标的0.9 th分位强度为22.00mm，观测目标的0.9 th分位强度为17.18mm，两者之比为1.28。≥7mm的降水预报目标和观测目标位置接近，走向一致，形状相似，总体相似度较高，TS评分低，预报面积偏大较多，为主要误差来源，降水强度较实况偏强。

图4 2014年3月19日17—18时1 h累积降水识别出的目标（卷积半径2个格点,阈值1.6mm）

图5 2014年3月19日17—18时1 h累积降水识别出的目标(卷积半径2个格点，阈值7mm）

因为计算TS评分同时考虑了空报率和漏报率两个因素，存在所谓的“双重惩罚”[21]现象。应用MODE检验，尽管TS评分低，但此次降水过程模式提前9 h的预警是有效的，跟实况匹配成功，主要误差来源分别为形状误差和面积误差，另外预报强度偏强。

如前所述，在检验目标的识别中，对于确定的阈值T，卷积半径R是MODE方法识别过程中的唯一可调参数。

将上述检验中的卷积半径设定为4个格点，原为2个格点，阈值仍为7 mm，图6为相应的检验结果，可以看到预报场（图6a，方框）和观测场（图6b，方框）在浙江东部沿海未能识别出满足阈值的目标。卷积半径分别为2和4个格点时，MODE对浙江东部沿海强降水检验的目标属性见表2。卷积半径增大时，识别的目标面积减小，预报和观测的目标配对结果（是否满足相似度阈值）也会有所不同，在应用时需要结合模式分辨率和天气系统时空尺度等综合考虑卷积半径和相似度阈值等检验参数的选取。

2.3 雷达回波检验

雷达回波能够迅速、准确、细致地测定降水区的位置、范围、强度、性质。通常利用回波的分布特征（如大面积片状回波、带状回波）以及回波的形状结构特征（如钩状回波、弓状回波等）来进行形态学分析。采用MODE方法可以对雷达反射率进行形态学客观检验。从3月19日下午的雷达最大反射率拼图（图7b）可以看出，17时左右，浙江台州附近有很强的回波，在50 dBz以上。模式预报的雷达反射率通过气压、温度、水汽、雨水混合比,雪水混合比和霰混合比反演而来。

表2 2014年3月19日17—18时1 h累积降水不同卷积半径的MODE目标属性及对比

图6 2014年3月19日17—18时1 h累积降水识别出的目标（卷积半径4个格点，阈值7mm）

图8和图9为MODE方法对快速更新同化系统2014年3月19日17时最大雷达反射率预报和实况的检验结果，卷积半径为2个格点，阈值分别为20、45 dBz，相应的MODE目标属性由表3给出。雷达反射率大于45 dBz出现降雹的概率较大[22]。

检验≥20 dBz的雷达回波，预报合并目标（图8a，绿色）和观测合并目标（图8b，绿色）的相似度为0.93。预报合并目标中包含单个目标面积合计为6629个格点，观测合并目标中包含单个目标面积合计为12 275个格点，面积差为5646个格点，面积比为0.54，其中交集面积为4662个格点，并集为14 242个格点。预报目标中心纬度28.49°N，中心经度119.40°E，观测目标中心纬度为28.53°N，中心经度为117.90°E，质心距离为49.19个格点。预报目标轴角为20.26°，观测目标轴角为11.58°，轴角差8.68°。预报目标长轴259.72个格点，短轴75.88个格点，观测目标长轴281.25个格点，短轴122.04个格点。从预报强度来看,预报目标的0.5 th分位强度为30.99 dBz，对应观测目标0.5 th分位强度为29.55 dBz，两者之比为1.05；预报目标0.9 th分位强度为44.41 dBz，观测目标0.9 th分位强度为42.22 dBz，两者之比为1.05。大于等于20 dBz的雷达回波预报目标较观测目标面积偏小，为主要误差来源，位置基本一致，回波强度与实况非常接近。

图7 2014年3月19日17时雷达最大反射率/dBz

图8 2014年3月19日17时最大雷达反射率识别出的目标（卷积半径2个格点，阈值20 dBz）

图9 2014年3月19日17时最大雷达反射率识别出的目标（卷积半径2个格点，阈值45 dBz）

检验≥45 dBz的雷达回波，预报单个目标（图9a，红色）和观测单个目标（图9b，红色）的相似度为1。预报目标面积为269个格点，观测目标面积为246个格点，面积差为23个格点，面积比为1.09，其中交集面积为97个格点，并集为418个格点。预报目标中心纬度28.63°N，中心经度121.04°E，观测目标中心纬度为28.83°N，中心经度为121.05°E，质心距离为7.54个格点。预报目标轴角为63.76°，观测目标轴角为51.44°，轴角差12.32°。预报目标长轴29.52个格点，短轴16.54个格点，观测目标长轴33.58个格点，短轴13.87个格点。从预报强度来看,预报目标的0.5 th分位强度为47.92 dBz，对应观测目标0.5 th分位强度为51.58 dBz，两者之比为0.93；预报目标0.9 th分位强度为52.58 dBz，观测目标0.9 th分位强度为59.50 dBz，两者之比为0.88。预报目标与观测目标面积、位置、形状和强度接近。

表3 2014年3月19日17时最大雷达反射率不同阈值的MODE目标属性

3 结论

（1）对于高时空分辨率的数值模式而言，应用MODE检验，可以避免TS等评价指标仅给出预报正确与否或者准确度评价，而无诊断信息的弊端，挖掘出预报产品中有价值的信息，为用户提供针对性强的客观检验信息。

（2）在高分辨率模式雷达回波预报检验中，MODE方法可以进行形态学的客观检验，具有明显的优势，特别是对于较难观测的强对流天气现象，比如冰雹等，具有很高的实际应用价值。

（3）卷积半径增大时，识别的目标面积减小，同时影响预报目标与观测目标的匹配。在高分辨率模式预报检验应用中需要结合模式分辨率和天气系统时空尺度等综合选取卷积半径和相似度阈值等检验参数。

[1]郑永光，张小玲，张庆亮，等.强对流天气短时临近预报业务技术进展与挑战[J].气象，2010，36（7）：33-42.

[2]陈葆德，王晓峰，李泓，等.快速更新同化预报的关键技术综述[J].气象科技进展，2013，3（2）：29-35.

[3]潘留杰，张宏芳，王建鹏.数值天气预报检验方法研究进展[J].地球科学进展，2014，29（3）：327-335.

[4]戴建华，茅懋，邵玲玲，等.强对流天气预报检验新方法在上海的应用尝试[J].气象科技进展，2013，3（3）：40-45.

[5]Ebert E E,McBride J L.Verification of precipitation in weather systems:Determination of systematic errors[J].J Hydrol，2000，239：179-202.

[6]Davis C A,Brown B G,Bullock R G.Object-based verification of precipitation forecasts[C]//Part I:Methods and application to mesoscale rain areas.Mon Wea Rev，2006，134：1772-1784.

[7]Ebert E E.Neighborhood verification：A strategy for rewardingclose forecasts[J].Wea Forecasting，2009，24：1498-1510.

[8]Casati B,Ross G，Stephenson D B.A new intensity-scale approach for the verification of spatial precipitation forecasts[J].Meteor Appl，2004，11：141-154.

[9]Brown B G,Bullock R R,David C A,et al.New verification approaches for convective weather forecasts[C] //11th Conf Aviation，Range，and Aerospace Meteorology，4-8Oct2004，Hyannis，MA.

[10]Brown B G,Bullock R,Halley GJ,et al.Application of themode object-based verification tool for the evaluation ofmodel precipitation fields[C/OL]//AMS 22nd conference on weather analysis and forecasting and 18th conference on numerical weather prediction,25-29 June,Park City, Utah,American Meteorological Society（Boston），（2007-06-30）[2016-06-01].http://ams.confex.com/ams/ pdfpapers/124856.pdf.

[11]Davis C A,Brown B G,Bullock R G.Object-basedverification of precipitation forecasts Part II:Application to convective rain systems[J].Mon Wea Rev，2006，134：1785-1795.

[12]Michaes A C,Fox N I,Lack SA,etal.Cell identification and verification of QPF ensembles using shape analysis techniques[J].JHydrol，2007，343：105-116.

[13]Lack S A,Limpert G L,Fox N I.An object-oriented multi scale verification scheme[J].Wea Forecasting，2010，25：79-92.

[14]徐同，李佳，王晓峰，等.2009年5-9月上海区域中尺度模式降水预报效果检验[J].大气科学研究与应用，2010，2：1-14.

[15]徐同，李佳，王晓峰，等.2010年汛期华东区域中尺度数值模式预报效果检验[J].大气科学研究与应用，2011，2：10-23.

[16]尤凤春，王国荣，郭锐，等.MODE方法在降水预报检验中的应用分析[J].气象，2011，37（12）：1498-1503.

[17]王国荣，陈敏，由凤春，等.基于对象诊断的空间检验方法（MODE）[J].气象科技，2014，42（4）：652-656.

[18]王晓峰，王平，张蕾，等.上海“7·31”局地强对流快速更新同化数值模拟研究[J].高原气象，2015，34（1）：124-136.

[19]Skamarock W C.Evaluating mesoscale NWP models usingkinetic energy spectra[J].Mon Wea Rev,2004,132：3019-3032.

[20]黄晓龙，高丽.2014年3.19台州冰雹过程中分析[C]//第31届中国气象学会年会S2灾害天气监测、分析与预报，2014：1-25.

[21]张勇，牟容，潘颖，等.重庆强对流短临业务评分办法[J].气象科技，2013，41（3）：594-596.

[22]王瑾，李明元，汪华.基于多雷达三维插值格点强冰雹诊断因子的强冰雹识别方法[J].高原气象，2010，29（6）：1533-1545.

Application of the Object-based Verification Method for High Resolution NWP

LIJia1，2，3，CHEN Baode2，3，XU Tong2，3
（1.Nanjing University of Information Science&Technology，Nanjing 210044，China；2.Shanghai Typhoon Institute of China Meteorological Administration，Shanghai200030，China；3.Key Laboratory of NumericalModeling for Tropical Cyclone，China Meteorological Administration，Shanghai 200030，China）

Based on the characteristics of high resolution numericalweather prediction,considering the disadvantages of the conventional verification methods,using the method of object-based diagnostic evaluation（MODE）carried out an objective evaluation on precipitation and radar echo forecast of strong convective weather on March 19,2014 of the SMB-WARR system.The method takes account of spatial location,shape,area and other attributes of objects,identifies objects in each fields,calculates similarity of forecast and observed objects using fuzzy logic algorithm.Case study shows that,this method has evident advantages and higher practical application value especially in the examination of hail radar echo in the high resolution numerical weather forecast. At the same time,the choice of a convolution radius in MODE for the high resolution model verification is discussed.

object-based verification；MODE；numericalmodel；radar echo

P456.7

A

1002-0799（2016）05-0001-09

10.3969/j.issn.1002-0799.2016.05.001

2016-06-13；

2016-07-07

国家自然科学基金项目（41175094）；公益性行业（气象）科研专项（GYHY201006002，GYHY201206006）；上海市科学技术委员会重点基金（13231203300）。

李佳（1978-），女，副研究员，主要从事数值预报研发应用及检验。E-mail：lij@mail.typhoon.gov.cn

李佳，陈葆德，徐同.目标检验方法在高分辨率数值天气预报检验中的应用[J].沙漠与绿洲气象，2016，10（5）：1-9.