APP下载

古籍數字化中計算機自然語言處理應用現狀分析*

2020-05-07馬海麗

古籍研究 2020年2期

馬海麗 王 曦

關鍵詞:古漢語;古籍數字化;分詞;詞性標注

中國漢語典籍浩如煙海,但因其歷史久遠、難理解、無句讀等問題,人們難以研讀學習。雖有不少古漢語工作者堅持傳承傳統文化,但因標点斷句等基礎性工作而耗費了大量的時間和精力。“我們期望能有可以用於漢語史電子文獻自動分詞、自動斷句、自動標注的軟件早日問世, 專家只需對結果刊謬補缺,這將大大减輕屬性式標注的勞動强度,加快工作進度。”(1)尉遲治平:《計算機技術和漢語史研究》,《古漢語研究》2000年第3期,第56—60頁。尉遲治平的呼籲反映了衆多古漢語工作者的心聲。採用計算機自然語言處理技術實現對古代典籍自動化處理,承載着學者們殷切的希望,也是傳承中華文明的重大責任。

隨着近年來自然語言處理技術的發展,現代漢語分詞與詞性標注工作已經取得了頗爲優秀的成果,但是在古漢語處理方面的研究是較爲薄弱的。目前對古籍文獻處理現代化的研究主要是字的輸入、輸出、建立電子資源庫,在詞彙、語義層面上的研究卻是寥寥。本文將綜合多篇相關論文討論古籍數字化自然語言處理的研究現狀。

一、 古籍數字化現狀

想要實現對古籍文獻處理的現代化,構建古漢語語料庫是最爲基礎的工作。相關研究最早是從計算機技術較爲發達的美國開始的,直到20世紀80年代,海岸兩峽及香港相繼開始研發中文古籍數字化專案。1984年,中國臺灣“中研院”開始“史籍自動化計劃”,計劃開發《二十五史(全文資料庫)》全文資料庫,後又於1990年着手建立“古漢語語料庫”。……

登录APP查看全文