于智娟　古丽拉·阿东别克

(新疆大学信息科学与工程学院　新疆 乌鲁木齐 830046)



基于层叠条件随机场的哈语树库构建技术研究

于智娟古丽拉·阿东别克

(新疆大学信息科学与工程学院新疆 乌鲁木齐 830046)

针对如何提高基于统计的哈萨克语句法分析算法的处理性能问题，提出一种通过人机交互来构建哈萨克语树库的方法。在自动句法标注阶段，采用层叠条件随机场模型实现，并在其低层与高层模型之间加入改进的基于转换的错误驱动学习算法来进行简单句的自动句法标注及自动校正。最后对特殊的整体标记错误进行人工校对，形成基于短语结构的哈萨克语树库。实验结果表明，该方法在很大程度上减少了人力及物力的投入，提高了分析精度及整体处理效率，并为后期基于哈萨克语的句法机器翻译及文本挖掘奠定了一定的基础。

哈萨克语树库人机交互层叠条件随机场错误驱动学习算法

0　引　言

哈萨克语树库为哈语自动句法分析、句法机器翻译、文本挖掘等热门研究领域提供知识源，其重要性不言而喻。特别是哈萨克语的树库构建技术相比于汉语、英语等其他语言比较滞后，仍处于初级阶段。所以说如何在节省人力及物力资源的前提下，能够更好地构建哈萨克语树库是一个急需解决的难点问题。在树库构建方面，汉语树库的构建技术已基本成熟并取得了一些成果，包括美国宾州大学的UPenn树库[1]和台湾中研院的Sinica树库[2]。……