彭喻杰　戴　永　谢建斌　李文涛

(湘潭大学信息工程学院　湖南 湘潭 411105)



基于文字书写教学的字母连写笔画分析方法

彭喻杰戴永谢建斌李文涛

(湘潭大学信息工程学院湖南 湘潭 411105)

摘要字母连写智能指导是文字书写教学系统重要研究内容。针对字母连写笔画结构复杂多变，单体字母书写笔迹分析方法无法直接套用于字母连写笔画分析的现状，提出基于图域时域关键点分割笔画的字母连写笔画分析方法。分别从图域、时域提取关键点；融合两域关键点；按二次曲线等三类标准曲线笔段，在两域关键点向量中进行笔段分割；通过与三类标准曲线的拟合建立笔段系数向量模板；依据实写笔画的各类关键点与系数向量重构的拟合曲线的贴近度实现连写笔画分析。实验表明，该方法关键点误提率、笔段误提率、实时跟踪时间及贴近度等重要指标均满足实用要求。

关键词联机书写指导字母连写笔画分析图域时域关键点融合笔段分割与拟合

AN ANALYSIS METHOD OF LETTER LIGATURE STROKES BASED ON CHARACTERS HANDWRITING TEACHING

Peng YujieDai YongXie JianbinLi Wentao

(School of Information Engineering,Xiangtan University,Xiangtan 411105,Hunan,China)

AbstractIntelligent guidance of letter ligatures is an important research content of characters handwriting tutoring system. The stroke structures of letter ligatures are complicated and changeable,the analysis method of single letter handwriting chirography can’t be directly set for letter ligatures strokes analysis. Aiming at this status quo,in this paper we propose a method of letter ligature strokes analysis,which is based on stroke-segmentation of key points in diagram-temporal domain. It is consisted of the following techniques: to extract key points from diagram and temporal domains respectively; to integrate the key points in two domains,according to three kinds of standard curved stroke segments such as quadratic curve etc. to divide the stroke segments in vectors of key points in two domains; to set up stroke segments coefficient vector template by fitting with three kinds of standard curves; to realise the ligature strokes analysis according to the closeness of the fitting curves reconstructed by the various key points of actual handwritten strokes and the coefficient vectors. Experiment demonstrates that the important indexes of the proposed method,including key points error pen-lifting rate,stroke segments error pen-lifting rate,real-time tracking time and closeness,etc.,all satisfy the practical requirement.

KeywordsOnline handwriting guidanceLetter ligature strokes analysisDiagram-temporal domainsIntegration of key pointsStroke segments dividing and fitting

0引言

学习单词为字母串结构的文种，字母连写学习是必修内容，也是当前文字书写自动教学系统的研究热点和难点。现有文字书写自动教学系统的教学内容主要是单体文字或字母的书写方法。笔画分析方法大致分两类：一类是整字法，即先记录下文字的全体笔画，后对记录笔画逐一分析[1-3]；另一类是笔画法，即每一笔画写完便对该笔画书写效果进行分析[4-6]。前者有益于从文字的整体效果角度来评判笔画书写质量，后者指导更为精细，可避免一错再错情况。但总体而言，单体文字与字母笔画结构的复杂度远不及字母连写笔画，因此不能直接将单体文字和字母的笔画分析方法套用字母连写笔画分析。字母连写笔画尽管复杂多变，但构成单词的字母串结构具有相对稳定性，加上人们在长期书写过程中形成的连笔共识，使得连写笔迹仍是有规可循。有鉴于此，本文以英文字母连写为例，依据文献[7]提供的英文书写字帖，面向联机文字书写自动教学提出图域时域关键点分割的字母连写笔画分析方法。在图域中获得笔段起止点、交点链向量，通过时域得到x、y方向极点、正弦π点向量，构建两域关键点融合向量，通过融合向量将连写笔画分割形成有序笔段模板。笔段模板设定为二次曲线、正弦曲线、直线三大类。模板笔段经最小二乘法获取最佳拟合曲线的系数向量，依据实写笔段关键点与系数向量重构的拟合曲线的贴近度进行连写笔画分析。实验表明，关键点、笔段等误提率达到实用要求。文献[8，9]提出线元分割法及其应用，对比分析，本文方法的笔段分割与拟合效果更好，更适用于字母连写笔画的书写教学。文献[10]为了回避笔段分割利用隐马尔可夫模型研究无约束英文书写模式的识别。文献[11]通过建立书写笔迹与速度模型识别手写数字，两种方法虽不针对字母书写学习，但为笔画信息处理提供了可借鉴的新思路。

1连写结构与笔段分类

按字母排序及笔画连接方式，文献[7]中字母二连结构大致分为三大类。第一大类为斜连类，包括a/c/d/e/h/i/k/l/m/n/u等收笔上挑的字母与e的起笔相连，a/c/d/e/h/i/k/l/m/n/u等收笔上挑的字母，正好与i/j/m/n/p/r/s/t/u/v/w/x/y的起笔相连两个子类；第二大类为横连类，包括o/v/w与i/j/m/n/p/r/s/t/u/v/w/x/y横连，以f/t为先或后字母的横连两个子类；第三大类为靠而不连，如“fa、kd、oc、ia、vg、xo”等本质上互无连笔结构，但熟练者常常进行无规则连写，“bi、cb、oh、ja、yh”等则完全不可进行连写。本文仅研究第一、二大类，多于两字母的字母串均可分解为两字母连写结构分析。

图1(a)所示为按文献[12]方法进行前置处理后并叠加了标注信息的“de”连写笔迹图，A为起点，沿箭头方向行笔，以E为终点结束书写；图1(b)、(c)分别表示笔迹x、y方向的时域走向图。笔画完整结构为非标准曲线，无法直接进行完整的笔迹分析。比照范类曲线，该连写笔画可有序分割成五段范类曲线笔段，分别近似为椭圆笔段(A→B段)、直线笔段(B→Bx段)、抛物线笔段(Bx→C段)、椭圆笔段(C→D段)及抛物线笔段(D→E段)。在B点以上的上下笔迹存在重叠。

图1　两域笔迹与关键点图

根据图1分析，各类连写笔画的笔段拟似形状及其数学模型结构归纳为三大类：(1)二次曲线(包括椭圆类、椭圆弧类、抛物线等)，如图2(a)所示a，o，d，k，e中的椭圆类笔段连写示例；(2)正弦曲线类，如图2(b)中x的连写示例；(3)直线类。类别模糊的笔段提供多种拟合模板。

图2　笔段结构示例

2分析模板构建

分析模板为连写笔画的标准书写结构经关键点分割所产生笔段的拟合范类曲线，用系数向量表达。

2.1关键点向量

遵循任意连写字母串有且仅有一条连写笔画的基本事实，讨论对象限于连写笔画。图域二维笔迹产生的关键点向量记为ΦG，时域单维笔迹产生的关键点点集记为ΦT。由ΦG、ΦT综合生成的关键点向量记为ΦK。

极点运用单调法生成。正弦π点生成方法：采用单调法获得笔画单调标注向量，若存在某笔段的单调标注向量满足x、y方向单调性均保持不变，则过该笔段的两端点求一条直线；若该直线与该笔段有且只有一个交点，则视该交点为笔画x方向的正弦π点，存入φxsz。

为方便后续处理使Φt与ΦG同维，将Φt中每个关键点子向量各自增加在时域中缺省的坐标元，相应的向量记为ΦT。ΦT=[φxb,φxp,φxz,φyb,φyp,φyz]，φxb,φxp,φxz,φyb,φyp,φyz依次对应φxbt,φxpp,φxsz,φybt,φypp,φysz。

按时序码τ由小到大融合ΦG、ΦT得到融合的关键点向量ΦK=[φk(xi,yi,τi,θi),(i=0,1,…,m)]。

2.2笔段分割

笔段分割是指在ΦK中确定可提取笔段的起点与终点，一条被提取的笔段包含σ(σ≥2)个关键点。为了将无规则的连写笔画切分成易拟合的规范结构曲线笔段，按“椭圆→正弦→椭圆弧→抛物线→直线”顺序对ΦK所包含的曲线笔段进行拟合分割。

算法1笔段分割

输入：ΦK

输出：笔段关键点子向量Vcut

注释：ΦK对应的变量为Pk。code(m)表示笔段拟合类型码，Vcutcode[]储存被提取笔段拟合类型码；Vcut[]存储提取笔段子向量。函数进行关键点重组PkRedistribution()，二次曲线、正弦曲线及直线的笔段分割分别由ConicPutIn()、SinusoidalPutIn()、LinePutIn()实现。

步骤

Step1i←0，t[]←0，k←0；

Step2pd.size()-t[k]≠0 ?是则顺序执行；否则转Step6；

Step3j←0，Vcutcode[i]←code(1)，Vcut[i][j]←

ConicPutIn(pd[t[k]],pk[])，t[k]++；

Step4Pk[]←PkRedistribution(Pk[])；

Step5i++，转Step2；

Step6k++，pxz.size()-t[k]≠0 ?是则顺序执行；否则转Step8；

Step7j←0，Vcutcode[i]←code(2)，Vcut[i][j]←

SinusoidalPutIn(pxz[t],pk[]),t[k]++,转Step4；

Step8Pk.size≥4?是则顺序执行；否则转Step11；

Step9求取Pk中x、y方向单调标注向量，存在连续4个关键点满足(Dx[]∈ηx)and(Dy[]∈ηy)?是则顺序执行；否则转Step11；

Step10j←0，Vcutcode[i]←code(3)，Vcut[i][j]←

ConicPutIn(pk[])；转Step4；

Step11Pk.size≥3?是则顺序执行；否则转Step14；

Step12求取Pk中x、y方向单调标注向量，存在连续3个关键点满足(Dx[]∈ηx)and(Dy[]∈ηy)?是则顺序执行；否则转Step14；

Step13j←0，Vcutcode[i]←code(4)，Vcut[i][j]←

ConicPutIn(pk[])；转Step4；

Step14j←0，Vcutcode[i]←code(5)，Vcut[i][j]←

Step15结束

2.3系数向量

3分析实现

实写笔画分析过程：求取实写笔画关键点并提取笔段关键点子向量，在提取笔段类型与模板笔段类型一致的条件下，将笔段关键点与对应最佳拟合系数向量还原的规范曲线进行贴近度分析。

实写决定系数R:

(1)

表1　拟合贴近度的评价标准

4实验与分析

开发系统硬件主要配置：7英寸触摸屏及S3C2440A，32bit ARM920T内核及其控制器，64 MB NAND_FLASH,64 MB SDRAM等。软件开发环境为VS2005，操作系统为Wince 5.0，开发语言为C++，辅助开发语言为MATLAB。四线格书写，图域为80×80点阵，前置处理采用文献[12]方法。以文献[7] 中“he”连写为例，其模板的各笔段拟合系数向量分别为：

图3　实验结果分析

采用MATELAB求取书写例字中模板笔画笔段的曲线拟合系数向量，并采用计算决定系数R的方式判断拟合贴近度的优劣。“he”连写笔点被顺序分割为椭圆、正弦曲线、抛物线和直线笔段。

表3　实验效果参数

图4为用户在本指导系统实际书写时系统教学效果截图，(a)为连写笔画无结构错误，系统给出综合得分72。(b)为连写笔画有结构错误，系统弹出指导意见“连写字母O弧未封口或者出头了，请按照标准书写”，并同步语音播放该指导意见。

图4　系统教学效果截图

图5为本文方法与文献[8]方法的笔段拟合效果对比。文献[7]利用线元进行手绘图形笔画分割，图示结果表明相对于联机字母连写笔画的书写指导，本文方法更合理，有明显优势。

图5　二种拟合方法拟合效果对比

5结语

本文方法已在文献[13]系统中得到实用。字母连写学习的难点为连写笔画，字母连写自动教学的关键在于连写笔画自动教学的实现。本文主要工作与成果：(1)给出英文字母连写结构分类方法；(2)提出并实现图域时域关键点分割字母连写笔画的策略；(3)应用最小二乘法拟合笔段形成系数向量分析模板，通过模板重构曲线与实写笔迹的贴近度计算进行笔画分析。该方法为采用笔画法进行英文书写自动教学提供了实用方法，也可借鉴于其他文种研究字母连写自动教学。本文方法的改进可借鉴文献[10，11]。

参考文献

[1] ZhiHui,Yun Xu,LiuShen Huang,et al.A Chinese Handwriting System with Automatic Error Detection[J].Journal of Software,2009,4(2):101-107.

[2] Yamaguchi T,Muranaka N,Tokumaru M.Evaluation of Online Handwritten Characters for Penmanship Learning Support System[C] // Proceedings of the 14th International Conference,HCI International 2011. Orlando,FL,USA: Human-Computer Interaction,2011: 121-130.

[3] Hammadi M,Bezine H,Njah S,et al.Towards an educational tool for Arabic handwriting learning[C]// Education and e-Learning Innovations (ICEELI),Sousse :2012 International Conference on,1-3 July 2012,IEEE,1(6): 1-6.

[4] 戴永,王心觉，张维静，等.面向指导的自由式英文字母书写跟踪[J].湘潭大学自然科学学报,2012,34(2):85-89.

[5] 陈定.点导法习字用具及其制造方法: 中国专利，CN20061015 7297.8[P].2008-06-11.

[6] 李东青.一种书写式电子装置进行文字笔画的校正方法：CN200710125 374. 6[P].2008-05-21.

[7] 龙恒充.英语手写体钢笔字帖·连写训练[M].四川:四川出版集团·天地出版社,2009.

[8] 王淑侠,高满屯,齐乐华.基于二次曲线的在线手绘图识别[J].西北工业大学学报,2007,25(1):37-41.

[9] 王淑侠,王关峰,高满屯,等.基于时空关系的在线多笔画手绘二次曲线识别[J].模式识别与人工智能，2011，24(1)：82-89.

[10] Graves A， Liwicki M， Fernandez S，et al. A Novel Connectionist System for Unconstrained Handwriting Recognition[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2009,31(5):855-868.

[11] Kherallah M,Haddad L,Alimi A,et al. On-line handwritten digit recognition based on trajectory and velocity modeling[J].Pattern Recogniting Letters， 2008,29:580-594.

[12] 戴永，张维静，孙广武.基于文字书写教学的笔迹噪声处理[J].计算机工程与应用，2014，50(14)：164-167.

[13] 戴永，刘任任，王求真，等.可联网交互的多功能规定格式习字系统及方法：ZL201010149767.2[P].2010-09-01.

中图分类号TP391

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.02.060

收稿日期：2014-09-01。湖南教育厅项目(13C914)；湖南省“十二五”重点学科建设项目。彭喻杰，实验师，主研领域：模式识别。戴永，教授。谢建斌，硕士生。李文涛，硕士生。