APP下载

基于GATE的楚辞语义标注研究

2015-07-05周澍绮南通大学文学院楚辞研究中心江苏南通226019

图书馆理论与实践 2015年11期
关键词:规则文本

●周澍绮 (南通大学 a.文学院;b.楚辞研究中心,江苏 南通 226019)

1 现状概述

在人工智能领域,汉语的机器学习一直受到学界的关注。不同于英语,汉语多字成句,没用明显的中断和语义间断,所以汉语的计算机学习需要单独的切分软件辅助,常见的算法有最短路径算法,隐马尔科夫模型算法(Hidden MarkovModel,HMM)。其中的佼佼者是基于HMM的ICTCLAS系统,其凭借高精度分词与高速度分析在众多开放分词软件中脱颖而出。研究发现,该系统在切分标注常规汉语时表现出色,但在对中国传统文献的处理时,结果并不理想。古文中除对仗等特殊网络现象之外,语法规律性并不明显,单纯的优化统计和概率的算法对古文切分的效率提高并不明显。因此,针对古汉语的识别和标引,国内已有研究成果有利用古文注疏切分 《左传》,[1]有利用音韵识别宋诗,[2]有利用中药信息优化医学古籍切分算法,[3]利用互动信息推动“红学”的发展。[4]

本文以先秦楚辞为研究对象,首先利用ICTCLAS系统以《楚辞》[5]为研究标的进行测试样本切分。此书兼具横版古文、白话注释、白话评注等多个方面的语料,能够对切分词算法和标注性能进行多方面性能的评测,如图1。

图1 切分词效率

数据显示,内容离现在越远,切分的效率越低,同一内容,开放测试准确率低于封闭测试。在不同内容方面,涉及楚辞的原文切分,在扩大切分词词典的情况下,准确率和召回率依旧低于20%。通过上述实验可以发现,现有切分方式无法直接应用于楚辞,程序和算法无法满足半自动构建楚辞语料库的基本要求。……

登录APP查看全文

猜你喜欢

规则文本
撑竿跳规则的制定
数独的规则和演变
初中群文阅读的文本选择及组织
在808DA上文本显示的改善
规则的正确打开方式
基于doc2vec和TF-IDF的相似文本识别
让规则不规则
TPP反腐败规则对我国的启示
搜索新规则
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻