一种网络多模态语料库构建方法
2018-11-19张晓
软件导刊 2018年11期
张 晓
(伊犁师范学院 电子与信息工程学院,新疆 伊宁 835000)
0 引言
语料库作为大数据的一部分,目前已广泛应用于社会各个领域[1-6]。由于语料数据的特殊性,语料库建设周期往往较长。虽然目前一些语料库建设中能够通过爬虫等技术自动获取所需语料信息[7-11],但对于一些濒危语言或网络信息量本来就很少的语言或方言,能爬取的内容则相对较少,所以此类语料库建设仍然需要语言工作者通过人工完成。此外,对爬虫算法性能的检测也需要标准库的支持。
目前语料库根据语料类型可分为两类,一类是单模态语料库,另一类是多模态语料库。单模态语料即为纯文本语料,此类语料库相对简单,利用传统的语料库工具即可实现。因其语料为纯文本形式,所以利用XML类的文本标记语言很容易实现网络化[12-14];另一类为多模态语料库。多模态语料库将音频、视频及文字语料等多种信息加以集成,研究者可通过多模态方式对其进行加工、检索与统计[15]。由于多模态语料库较为复杂,在建的语料库大多为单模态语料库[16-18]。目前与语料库建设相关的工具软件也比较多,如Transcriber、ELAN、Praat等,但语料库作为大数据非常重要的一部分,对其进行网络化已是必然趋势[19-20]。目前多模态语料库的网络化仍需要基于数据库技术实现[21-23],这对于从事语料库建设的语言工作者而言是十分困难的,因而导致网络语料库建设进展缓慢。本文将介绍一种网络多模态语料库建设方法,其不需要非常专业的计算机技术支持即可完成,从而使后期语料库资源扩充及维护工作量大幅下降。……
登录APP查看全文
