孙温稳

（郑州师范学院信息科学与技术学院，河南　郑州　450044）

基于国内现存文本语料库规范化的现状研究及改进

孙温稳

（郑州师范学院信息科学与技术学院，河南郑州450044）

当前国内对于文本可视化的研究还停留在初级阶段，存在着许多方法处理文本语料库。随着科学技术的不断发展，网络变得越来越普及，人们可以从网络上获得大量的文本资料信息，本文主要针对如何获取序列化、规范化的汉语的语料库提出了一种新的框架。

语料库；工具包；文本规范化

1　文本可视化概述

目前国内对于文本可视化的研究还处在初级阶段，主要停留在新技术的发展和新系统开发等方面。对于文本集合可视化系统，先通过文本采集模块、中文分词模块、特征词权重计算模块和XML文件组织模块构成本地数据库，然后通过可视化图形界面模块与本地数据库的接口交互，对用户的检索关键词图形化地显示结果。其中，文本采集模块在互联网上搜集网页文本，将采集到的文本作为原始数据源传入中文分词模块；中文分词模块，对文本采集模块中得到的文本内容进行分词处理，获得以词为单位的语料，并统计词频，保存在本地文本，供后续的词语权重计算模块读取词频信息计算权重；词语权重计算模块，用于对分词后的结果进行特征抽取即特征词权重的计算，将计算结果连同对应的特征词，以及所在文本的标题交给XML文件组织模块；可视化图形界面模块以上述XML文件组织模块保留在本地的结果数据为基本语料库，通过与用户的交互取得用户命令，并显示出结果。……