无监督与有监督相结合的粤语分词方法
2023-09-13苏振江张仰森胡昌秀黄改娟
计算机工程与设计 2023年8期
关键词:模型
苏振江,张仰森,2+,胡昌秀,黄改娟,2
(1.北京信息科技大学 智能信息处理研究所,北京 100192;2.北京交通大学 国家经济安全预警工程北京实验室,北京 100044)
0 引 言
目前,国内对于中文文本的分词算法的研究日渐成熟,很多相关研究都取得了相当不错的效果,但针对少数民族语言的分词研究工作相对较少。而网络信息中方言及少数民族的语言使用存在一定的普遍性,通常具有地域特征,例如在港澳和两广地区,粤语受到广泛的应用。与此同时,也应关注到针对港澳这类政治敏感地区,有效地对以粤语形式发表的网络信息进行监管分析,以达到保障信息安全、国防安全的目的具有重要的社会意义。粤语作为中国文化中最具特色的方言之一,具有独特的声调、发音和语法结构,通过更好的分词算法提升对粤语相关论坛和新闻网站内容的分析效果,能够更加快速有效地获悉当地舆情动向,为将来的民情民愿获取和政策决策辅助提供技术上的支撑。
因此,利用粤语社交媒体的短文本数据,进行特征提取与模型构建,设计并实现一种有效的分词算法,提升粤语分词准确性,对以粤语为研究对象的自然语言处理任务研究具有重要意义。
1 相关工作
与其它汉语方言不同,粤语创造了一套较完备的方言文字书写系统,粤语的文字书写系统可以分为通用汉字和粤语特殊用字两个部分,因为有相似的部分,所以现有的中文分词研究对粤语分词研究的开展具有相当大的启发意义。……
登录APP查看全文
