古籍数字化技术的新思路
2014-05-30章杰鑫,潘悟云
语言研究 2014年1期
关键词:文本
章 杰 鑫,潘 悟 云
(上海师范大学 语言研究所,上海 200234)
文献数字化建设,自上个世纪80年代开始,至今超过了30年,有不少产品面世并进入商业化应用。文献数字化最根本的目的是要解决如何高效、准确、可靠地让读者查询到自己所关注的东西,从这个角度而言,文献数字化大致经历了三个阶段。
第一阶段:文本数字化阶段。这一阶段的产品以文本方式进行检索、展现,文本通过人工输入、或者对影印纸质文献进行OCR识别并校对后获取。这个阶段的产品以台湾中研院的瀚典全文检索系统为代表,能提供文本检索、反色定位等功能,文献的利用方式发生了革命性的变化。以往研究者要花费数个月甚至是数年时间翻阅大量文献的工作,通过电子文本只要几分钟就能完成。但是这一阶段的数字化产品也存在几个缺陷:(1)用于检索的文本有可信度问题。因为检索的文本是通过人工输入,或者 OCR识别获得,都存在不忠于原版纸质文献的问题,原因大致有两个:1)输入错误。用人工输入或OCR得到的文本,错误当然是不可避免的。2)字符集规模限制导致的错误。目前普遍使用的七万多字的Unicode字符集,在文献数字化中显然不够用。此外,大量的异体字、通假字、避讳字,以及日、韩等国的汉字,有很多无法输入。这些都会导致文本与原版纸质文献之间的不一致。(2)必须查验对应的纸质文献。这一方面是由于检索文本的可信度不够,用户不敢直接采信。另一方面,与检索内容相关的一些其他信息,如页数、行数、版本以及上下文内容等等,也许只能在原书中找到。……
登录APP查看全文
