一种面向电力的智能分词方法
2021-09-11江苏省电力有限公司张首魁仇晨光李艺丰崔占飞梁文腾李彦柳
电力设备管理 2021年8期
江苏省电力有限公司 张首魁 仇晨光 李艺丰 曹 帅 崔占飞 梁文腾 李彦柳
随着信息化水平的不断提升,搜索引擎的不断发展,作为其基础的各种中文分词算法的应用越来越成熟和广泛。目前主流的中文分词方法很多,算法也各不相同。但成功将分词方法应用于电网调度的案例很少,这一方面是由于电网信息系统的安全要求很高,不能直接连接到信息外网,导致很多依赖于互联网的分词算法无法得到应用;另一方面是因为电网调度中所使用到的很多电力词汇、设备命名无法被大众化的分词算法所解析。
1 主流中文分词方法
1.1 主流中文分词现状
中文分词技术属于自然语言处理技术范畴,目前主流的中文分词方法主要包括三种:
基于规则的分词方法是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配,若在词典中找到某个字符串则匹配成功。其常用的方法包括正向最大匹配法、逆向最大匹配法、最少切分法、双向匹配法等。然而在这种模式下的分词结果精度还远不能满足实际需要,在此基础上还需使用一系列的方法来改进,如特征扫描或标志切分或词类标注辅助决策等,这是目前使用较多的分词方法。
基于理解的分词方法是在分词的同时进行句法、语义分析,利用句法信息和语义信息来处理歧义现象,通常包括分词子系统、句法语义子系统、总控部分。在总控部分的协调下,分词子系统模拟了人对语句的理解过程。……
登录APP查看全文
