谭红叶,郑家恒,梁吉业

(1.山西大学计算机与信息技术学院,山西太原030006)(2.太原国家高新技术产业开发区,山西太原030006)

1 概述

文本中时间关系(Temporal Relation)识别是NLP(Natural Language Processing)中语义信息处理的一个重要任务,是实现自然语言理解的基础。近十年来,国际上召开了许多关于时间信息处理方面的会议,例如,1994开始迄今为止已连续举办了17届T IMES系列论坛(TIME Symposium Series on Temporal Representation and Reasoning)[1],AAAI2000大会上推出关于空间和时间粒度的分会(Workshop on Spatial and Temporal Granularity)[2];ACL2006会议上召开了时间和事件标注与推理分会(Workshop on Annotation and Reasoning about Time and Events)[3];2007年,时间关系的识别被SEMEval会议列为一项重要评测任务(Temp-Eval-1)[4]……,这些会议有力地推动了时间表示和推理方面的研究。与此同时,欧美各国政府也开始大力支持时间语义信息的处理。例如,美国ARDA部门2002年资助了AQUINT计划,致力于改进问答系统中内容理解和时间语义信息处理的不足。在该计划的推动下,Brandeis大学于2003年推出了时间、事件及时间关系标注的标准 TimeML(Markup Language for Temporal and Event Expressions)和英语TimeBank语料库,为英文时间信息的自动处理奠定了基础[5];英国的医疗研究委员会2007年启动了CLEF医疗服务项目,旨在自动识别和抽取医疗报告中的时间关系,为自动建立病人的医疗档案奠定基础[6]。

1.1 时间关系的定义

时间关系指文本所描述事件之间或事件与时间之间的关系,主要包括：事件与时间的锚定关系(Temporal Anchoring)、事件之间的时序关系(Temporal Ordering)等[7]。从处理的文本范围来看,可分为局部时间关系(Local Temporal Relation)和全局时间关系(Global Temporal Relation)。其中,局部时间关系指一个句子或邻近句子中事件的时间关系,而全局时间关系指在整篇或多篇文本的范围中确定所有可能的时间关系。

时间关系的识别是时间信息处理的关键部分,属于语义研究层面,可形式化定义为：为每个时间—事件对＜ti,ej＞∈T×E或每个事件—事件对＜ei,ej＞∈E×E分配一个时间关系类别标记rk∈R,其中T={t1,t2,…,tm}表示预先识别的时间表达式集合,E={e1,e2,…,en}表示预先识别的事件表达式集合,R={r1,r2,…,rl}表示预先定义的时间关系集合。

Allen提出了13种基本时间关系[8],分别为before、overlap、meet、equal、start、finish、during 及其逆关系(equal没有逆关系)。参照Allen的定义,TimeML标准提出了14种时间关系,分别为：simultaneous、identical、before、after、immediately before、immediately after、including、being included、during 、being during 、beginning 、being begun 、ending、being ended。表1列出了这两个时间关系集合的对照情况,可以看出不同之处在于：(1)TimeML中的simultaneous与identical有重叠,identical可以看作simultaneous的子类,这两个类别与Allen的equal对应;(2)Allen的overlap在TimeML中没有定义,而 TimeML中的during关系和 including关系与Allen定义中的during关系对应,不过TimeMlL中的during关系更强调事件在某一时段的持续性。

表1 两种时间关系集合对应表

1.2 相关术语

NLP中,与时间关系相关的几个术语有：“时间链”(Timeline或 Temporal Chain)、“时间结构”(Temporal Structure)、“时间戳”(Timestamp)和“时间论元”(Temporal Argument)。其中,“时间链”是指将相关事件按照时间先后顺序排序后形成的线性序列{e1,e2,…,en},序列中的节点是事件ei及其描述信息,一般包括：事件标识、事件描述、事件发生或持续的时间信息等;n是链的规模;序列中的(ei,ei+1)表示ei发生在ei+1之前。可以看出“时间链”实质是多个事件的全局时序关系,NLP中时间关系识别的最终目标就是建立“时间链”。如果对“时间链”中包含的信息进行扩充,例如,增加事件节点的参与者(论元)信息,补充两个事件间其他语义关系(如：因果关系),则“时间链”可以扩展为“事件语义链”或“事件语义图”。

早期的“时间链”大多为手工建立,并以自然语言的形式来表示。为了区别这种采用自然语言形式表示的“时间链”,又引入了术语“时间结构”来专门表示面向机器推理的全局时间关系,在这种表示形式中,强调在不同事件之间引入时间关系链来实现时间推理[9]。随着研究的深入,研究者不再强调“时间链”、“时间结构”这两个术语的细微差别。

“时间戳”指与事件存在锚定关系的时间[7],即事件与时间之间存在锚定关系,与前面所述的temporal anchoring类似。“时间论元”多指与事件有锚定关系的时间表达式,且充当事件动词的论元。宾州命题语料库 Propbank中标注了事件的时间论元,用 ARGM-TMP来标记[10]。ACE2005语料库也标注了事件或关系的时间论元,并且对时间论元进行了分类,共涉及到Time-Within,Time-Holds,Time-Starting,Time-Ending,Time-Before,Time-After,Time-At-Beginning,Time-At-End等8种不同类型,但这些语料库并不关注事件间的时间关系[11]。

2 相关标准、资源与评测

时间关系识别研究取得的几个重要成果包括：TimeML标准的产生;时间关系标注语料库的建立;时间关系评测任务(TempEval)的推出。

2.1 TimeML标准

TimeML标准在美国AQUINT计划的资助下于2003年由Brandeis大学的James Pustejovsky负责推出,有效解决了英文文本中事件、时间和时间关系的标注。规定的标注内容有：

(1)时间表达式(Temporal Expression)的标注。采用TIMEX3 XM L标记来标注,标注属性有：①时间表达式标识(TID);②类别(Type),包括：时间(Time)、日期(Date)、持续时间(Duration)、集合时间(Set,指周期性或规律性时间,如：每周);③值(Value),对时间表达式规范化后的值。时间规范化是将时间表达式映射成与日历时间相对应的时间点,或用起始时间点和终止时间点表示的段时间,具体采用ISO8601标准规定的表示形式。还有两个属性是可选标注属性：一个为FunctionInDocument属性,可能值为文档创建时间、修正时间、到期时间、发表时间、发行时间和NONE等,该属性可以为时间推理提供参照;另一个为TemporalFunction属性,该属性允许使用一些算法推后进行时间推理,是布尔形式的取值,可能为TRUE或FALSE。可以看出,这两个可选属性为后期的时间推理和时间计算提供了依据。

(2)事件(Event)的标注。TimeML中,描述某事件发生或境况状态持续的语言片段(可能是动词、形容词、名词化结构、从句、介词短语等)都被标注成事件。标注的属性主要有：①事件标识(EID);②类型(Class),包括 7 种类型 ：Occurrence、State、Reporting、I-Action 、I-State、Aspectual和 Perception 。③与时间相关的属性,包括：时态(Tense)、体态(Aspect)和情态(Modal)信息。④事件的正负性属性(Polarity),可能性取值为pos或neg。

(3)时间信号词(Signal)的标注。引入时间信号词是因为时间关系的传递方式有两种：一种是通过介词、连词等显式传递,如：“John flew to Boston on Friday.”;另一种方式是隐式传递,主要通过句法结构或省略关系来表示,如：“John's flight,Friday at 5,will be crowded.”。显然,时间信号词的的引入对确定时间关系和时间推理很有帮助,因此TimeM L中对显式表明时间关系的介词、连词、not和no等正负倾向词、时间数量词(如：twice、three times)等进行标注,并用Signal标签来标识,目前标注属性只有标识号id。

(4)时间关系的标注。引入SLINK、ALINK和TLINK三种标记,实现了时间关系的标注,而不考虑具体的时间关系传递方式。其中SLINK用于事件之间或事件与时间信号词之间的关系;ALINK表示体事件(Aspectual Event)与论元事件(Argument Event)之间的关系;TLINK表示事件之间或事件与时间的关系,目前时间关系的识别主要就是指TLINK的标注,13种T LINK的类型见论文1.1部分。

2.2 相关语料库

英文时间关系标注语料库主要有：TimeBank语料库,AQUAINT TimeML语料库和TempEval评测语料库[12-16]。

TimeBank语料库根据TimeML标准人工标注建立,目前为止的最新版本是2006年发布的Time-Bank1.2,包括183篇新闻文本,共标注8300个事件、1400个时间表达式,6000个时间关系(LINK)和2100个时间信号词[12]。TimeBank被认为是时间关系的标准标注数据,为研究时间信息如何组织和传递提供了宝贵的经验和数据基础。该语料库是免费的,并已纳入到语言数据协会(LDC),编号为LDC2006T08。

AQUAINT TimeML语料库,又称作Opinion语料库,包含183篇新闻文本,内容和标注风格与TimeBank1.2非常类似,该语料也可在网上免费下载[12]。

TempEval-2007数据集基于TimeBank1.2得到,专门为TempEval-2007评测推出[13-14]。其中训练集包含162篇文档,评测集包含20篇文档。与TimeBank的主要不同是：采用简化的时间关系集合 ,只涉及 before、after、overlap 、before-or-overlap,overlap-or-after,vague等6种时间关系,后3种关系是开始标注语料后发现需要引入来解决难以确定关系的模糊情况。该语料库的训练集合可在网上免费下载。

TempEval-2010数据集涉及到 6种语言：汉语、英语、意大利语、法语、韩语和西班牙语[15-16]。标注的 token数分别为：23000、63000、27000、19000、14000和68000。英语语料库在TimeBank语料基础上按照本次评测任务建立。西班牙语的语料库选自AnCora语料库,并按照西班牙语的标注规范建立。

除此以外,还有面向医药领域的CLEF语料库[6]。该语料库由英国Sheffield大学推出,标注的文本有三种类型：临床医疗记录、医疗检查等图象报告和组织病理学报告,共涉及到20234个病人。主要标注有：临床医疗实体(如：所用药物、医疗检查等)及其关系、时间表达式、临床医疗实体之间的时间关系。时间关系涉及到：before、after、overlap和includes。

2.3 TempEval评测

在NLP领域,MUC-6,MUC-7和ACE等评测会议提出了针对时间表达式识别及规范化(T ERN)的评测,但不涉及时间关系。TempEval评测旨在对时间关系进行评测。由于自动识别文本中的所有的时间表达式、事件和时间关系是一项非常困难的任务,因此 TempEval-2007进行了任务简化,提出了3个子任务[13-14]：(A)确定同一句子中的事件—时间的关系;(B)确定事件与文档创建时间的关系;(C)确定相邻句子主要事件的顺序关系(成对句子的主要事件的关系,而不是整个文档)。TempEval-2007评测任务的简化还体现在：①语料预先标注好所需的事件和时间表达式,以便于研究者可完全关注时间关系识别,避免事件和时间识别的差异造成的性能差异而影响评测;②采用缩减的时间关系集：before、after、overlap 、before-or-overlap,overlap-or-after,vague,有利于产生可靠的标注数据,有效缓解TimeBank数据稀疏的问题;③采用了缩减的事件集合。事件集合的缩减在三个评测任务中各有不同。任务A和B只涉及到事件目标列表中(E-vent Target List,ET L)的有限事件。具体来说,在TimeBank中出现了20次以上的事件术语就会包含在ET L列表中。任务C则只关注主要事件,一般为句法占统治地位的动词表示的事件。

TempEval-2007共有六个参赛队：分别是美国科罗拉多大学[17],美国的语言计算公司[18],日本Nara科学技术研究所[19],英国的 Sheffield大学[20],英国Wolverhampton大学[21],欧洲XEROX研究中心[22]。

TempEval-2010提出六项任务：(A)时间识别,需要确定Type和Value;(B)事件识别,需要确定Class,Tense,Aspect,Polarity和Modality信息;(C)同一句子中事件—时间的关系,该任务进一步局限于事件在句法上支配时间或事件与时间处于同一名词短语;(D)事件与文档创建时间的关系;(E)相邻句子中两个主要事件的时序关系;(F)两个事件的时间关系,其中一事件在句法上支配另一个事件。可以看出,TempEval-2010有四项时间关系任务,其中任务 C、D、E与 TempEval-2007基本一致。TempEval-2010的时间关系集合与TempEval-2007相同,语种由英语扩大到汉语、英语、意大利语、法语、韩语和西班牙语等六种,参评者可以选择参评任务和语种。

TempEval-2010中共提交18个系统,其中10个系统参与了时间关系任务,八个系统为英语语种任务,两个为西班牙语任务。参赛单位分别为：美国的Rochester大学[23],美国的北卡罗莱那州立大学[24],英国的 Shef fi eld大学[25],英国的 Edinburgh大学[26],德国的Heidelberg大学[27],西班牙的Alicante大学[28-29],西班牙的马德里卡洛斯三世大学[30],比利时的鲁汶大学[31],印度的 Jadavpur大学[32]。

TempEval-2007和 TempEval-2010的最佳评测结果如表2所示。

表2 TempEval中最佳评测结果

3 时间关系识别方法

3.1 局部时间关系的识别

局部时间关系识别同全局时间关系相比,处理的文本范围小,难度较低。目前的识别方法主要有以下三类。

(1)基于规则的方法。TimeBank语料出现之前,多采用基于规则的方法大多关注对时间关系有影响的语言机制和语言知识(如：时态、体态、修辞关系和语用约束等)的研究。一般是预先建立好规则集,集合中的规则描述了如何根据上下文特征确定时间关系和时间关系的传递规律。规则包括两部分：测试条件和相应的动作(如：分类),作用范围可能是句子或篇章,可以通过人工或自动获取。系统有一个规则解释器读取规则并与每个实例匹配,然后根据匹配情况做出相应的动作。随着机器学习技术的发展,目前单纯采用规则的方法比较少。例如,TempEval-2007中,只有欧洲XEROX研究中心的XRCE-T系统采用了这种方法[22]。该系统将时间处理融入到基于规则的XIP系统。XIP系统抽取基本的语法关系,并以依存链的形式抽取论元角色。系统扩展后,通过介词短语与谓词之间的依存链来反映事件—时间的关系,将时间分析与深层句法分析联系在一起。时间信息的处理根据规则分为几个层次：首先利用局部规则识别时间表达式;然后利用句子级的规则确定同一句子中时间—事件和事件—事件的关系,最后用篇章级的规则来推理得到新的关系。其他基于规则方法的研究还有Mani和Wison利用规则在事件间传递时间信息,比较小的测试集(8505个词)上获得了 59.4%的准确率[33];Filatiova和Hovy针对单一类型的事件获取时间戳信息,在172个句子的测试集上取得了82%的准确率[34];Schilder和Habel利用规则推导时间关系,在德文数据上获得了84%的准确率[35]。不过上述研究由于采用的数据集不同,所以难以作出比较。

(2)基于机器学习的方法。TimeBank语料的建立为基于机器学习方法的使用提供了基础。比较流行的做法是把时间关系的识别看作成对分类(Pairwise Category)问题,即将事件—事件对或事件—时间对表示成特征向量,然后选择合适的分类模型(及机器学习方法)进行分类。其关键问题是选择有效的特征和合适的机器学习算法。使用的主要特征有：①词形和词性特征,例如,时间词、事件词、介词、助动词、连词和事件与时间之间的词等;②事件特征,包括时态、体态和情态、事件类别等;③句法特征,例如,事件和时间之间的句法树或依存链等;④语义特征,例如,事件动词在句中的语义角色、事件的共指信息等。使用的主要机器学习方法有：ME 、SVM 、Bayes、CRF 等 。 研究表明,不同系统和不同任务采用不同的特征,不同的机器学习方法有效特征也不同,同一机器学习方法在不同任务表现也不同。代表性研究有：Mani等在假设时间表达式、事件词识别都正确的基础上,利用最大熵分类模型对每个事件对进行时序关系的识别[36];Chambers等提出了一个两阶段的时间关系识别方法,第一阶段学习时态、体态、模态、正负性、事件类别等事件属性,第二阶段利用第一阶段得到的属性作为特征进行事件对的事件关系的判别[37]。

另外一种思路是将时间关系识别看做序列标注问题。按照文本中的出现顺序,事件—事件对或事件—时间对可以被看做一个序列,因此可采用序列标注模型识别时间关系。序列标注问题可形式化为：给定一个观察序列 x=＜x1,x2,…,xn＞,通过最大化一个目标函数 f(x)=argmaxF(x,y),得到一个标记序列y=＜y1,y2,…,yn＞。这里xi为事件—时间对＜ti,ej＞或事件—事件对＜ei,ej＞,yi属于预先定义的时间关系集合R={r1,r2,…,rl}。例如,TempEval-2007中,日本的NAIST系统使用HMM_SVM 序列标注模型识别时间关系[19]。

(3)混合方法。就是将机器学习方法和规则结合起来识别时间关系。不同的系统,规则用途不同。一种用途是通过刻画时间关系存在和传递规律的规则来确定时间关系。还有一些学者给规则赋予了新用途。例如,Mani等利用时间关系传递规则建立时间闭包,扩大训练语料规模,使系统性能获得了提升[36]。

3.2 全局时间关系识别

时间关系识别的最终目标是确定全局时间关系,形成时间链,其关键问题为：在全局文本范围内,如何在局部时间关系间发现建立新的联系,形成相容的全局时间关系。目前全局时间关系识别的主要方法有：

(1)利用全局模型确定全局时间关系。模型一般包含：①一个目标函数;②一组约束条件,这组约束条件描述和体现了应当满足的全局联系;③一定的寻优策略,通过该策略可找到满足约束的最优解决方案。具体的寻优策略为贪心策略和整数线性规划策略。其中贪心策略只可达到局部最优,而整数线性规划策略可实现全局最优。Bramsen等最先提出了这种思路,并明确得出整数线性规划策略效果较好的结论[38]。Chamber和Jurafsky对此模型进行了深入探讨[39],发现局部时间关系的连通性对全局约束模型影响很大。如果局部时间关系图弱连通,则约束难以传递,全局模型作用不大。为解决这个问题,他们引入时间推理构件,充分考虑事件—事件链、事件—时间链和时间—时间链信息,尽可能增强时间关系图的连通性,丰富时间关系图的信息。实验表明,全局模型可以有效提升时间关系识别的准确率。

(2)基于事件共享论元(实体)来建立事件—时间链。该方法由Chamber和Jurafsky提出[40]。他们从事件的共享论元入手来发现事件之间的联系,进而对事件进行排序。该方法基于这种假设：共享论元的动词(事件多由动词来体现)比那些不共享论元的动词更可能形成一个叙事链。具体实现时分为三个阶段：①首先识别事件与时间相关的信息,如：时态、体态等;②然后识别两个事件间的时间关系;③最后利用成对互信息(Pairwise Mutual Information,PMI)来计算具有共享论元的两个事件的关联程度,进而完成全局排序,形成一个有向图。可以看出：前两个阶段是局部时间关系的识别,最后一个阶段是基于共享论元建立时间链。实验表明：基于事件共享论元的方法比单纯基于动词的方法要好得多。

3.3 汉语时间关系识别的研究

从国内的研究情况来看,少数研究者在汉语时间关系方面作出了有益的尝试[41-44],填补了国内在此项研究的空白。例如,王昀和苑春法针对金融领域尝试采用基于转换的方法确定事件的时间[41];林静等研究并修改了国际通用的时间短语标注规范TIMEX2的中文标注草案,开发了基于正则表达式的中文时间自动标注系统,识别时间短语和时间规范化的F测度分别达到90.15%和83.27%[42];林静和苑春法还研究了时间关系的抽取和不同文本间的时间关系计算[43]。李文捷等选择事件情态分类和11种时间指示符作为特征,将机器学习的方法应用于时间关系的解析[44]。

但从整体来看,针对中文时间关系的研究在国内还未深入和大规模的展开,关于时间信息的处理还处于时间表达式的识别及规范化等比较底层的方面[45-49],而且时间信息的处理目标关注于自动文摘、机器翻译等应用。例如,香港理工大学利用多标记分类方法进行了时间表达式的规范化研究[45-46];哈尔滨工业大学信息检索实验室利用依存分析和错误驱动的方法进行了中文时间表达式的识别,并用于时序多文档文摘,在ACE2005语料上取得的F测度为76.57%[49]。

4 未来研究的重点

从TempEval评测来看,由于时间关系的识别难度较大,目前大多研究都假定时间表达式和事件表达式识别正确,并采用金标准数据中的已标注结果作为特征,因此时间关系识别取得的性能还很有限。本文认为还需要在以下几方面进行深入研究。

(1)提高语料库的标注质量

TimeBank语料库的出现有力推动了基于机器学习方法的时间关系识别研究。但据语料的提供者报告,由于自然语言中存在大量时间模糊性,时间关系标注对于人来说并不简单。因此,其标注一致性(Inter Annotator Agreement,IAA)分值较低,其中TLINK标注的IAA是0.77(按Kappa统计量得到的IAA是0.71)[13]。而语料库的研究者建议语料库标注的IAA分值不应低于90%[50],因此,IAA比较低已成为TimeBank上做研究的一个困难。根据TempEval的结果,即便是简化的任务,时间关系识别的性能也只保持在50%～60%。

TimeBank语料库的提供者在TempEval中为此做了一定努力：①采用缩减的时间关系集合(见2.2);②每次标注时都为标注者显示一个事件—时间对,不要求标注者浏览整个文本来发现所有的时间关系,避免忽略掉重要时间关系,降低标注复杂性。但事实并非如此。首先,为两个相隔很远(多个句子)的事件标注时间关系比较困难;其次TempE-val中不允许忽略任何时间关系的标注,所以增加了标注的复杂性。语料建立者建立了一个困惑矩阵来检测T LINK的不一致,最大不一致主要存在于before与overlap之间以及after和overlap之间,比例为53%。后来引入了before-or-overlap和afteror-overlap关系,但仍有19%的不一致,最后标注者使用vague类别来解决这一问题。

除了标注质量外,TimeBank的规模较小。例如,目前的 TimeBank语料库标注规模只有大约300篇文档,标注时标注者只标注了对文本理解起关键作用的关系,因此语料中存在大量未标注或未知的关系,为分类器的训练带来了很大的噪声。

(2)确定时间关系的粒度

从1.1可知,TimeML的时间关系是基于Allen的定义确定的,但按照Allen的时间间隔逻辑形成的时间关系集合粒度较细,因此很多研究采用了缩略的时间关系集合,可以看做是粗粒度的时间关系。例如,Mani和Chamber采用了六个时间关系类型[36-37]：simultaneous,before,ibefore,begins,ends,includes;TempEval中也采用了六个关系类型[13]：befroe,after,overlap,before-or-overlap,overlap-or-after,vague,粒度更粗一些。

从语料库的建设来看,语料库的标注质量与时间关系粒度紧密相关。时间关系粒度越细,语料库加工难度越大,质量越难保证,而且数据稀疏问题越严重。时间关系粒度越粗,虽然上述问题得到缓解,而且可能更适合于时间关系出现不太密集的领域。但是时间关系粒度究竟如何确定,不同粒度对研究带来的影响还尚未见到理论和实践的证实与分析,需要进一步研究。

(3)加强汉语时间关系的识别,深入探索全局时间关系识别。

目前,可见文献大多对英语时间关系识别讨论较多。尽管TempEval-2010增加了其他语种的评测,但遗憾的是参赛者只参加了英语和西班牙语的评测任务,说明其他语种上的研究还十分有限,与英语相差较大。类似地,汉语时间关系识别无论在语料库建设还是方法技术的研究,都相对薄弱;其次,尽管全局时间关系识别是时间语义信息处理的最终目标,但目前大多研究集中于局部时间关系的识别,而且,在局部时间关系识别中(尤其是采用成对分类思想),每个对都被孤立处理,没有考虑全局约束,得到的关系可能彼此不相容。因此,我们需要吸收国外在英语语种上的研究思想和经验,全面展开全局时间关系的识别研究,大胆创新,从全局的角度建立模型,解决局部冲突,得到相容的全局时间关系。

5 结束语

本文参考大量的文献资料,对时间关系识别取得的进展进行了总结和分析,主要包括：时间关系的定义及其相关术语的解释;时间关系识别在标准、资源和评测中的进展;研究中采用的多种方法和技术以及汉语时间信息处理方面的进展;最后探讨了研究中存在的问题和未来研究的重点。通过总结和分析,本文认为时间关系的识别不是一个简单问题,其研究还处于一个比较初级的阶段,距离实用化还有很长一段距离。随着研究的深入,如何提高语料库标注质量、合理确定时间关系粒度和全局时间关系识别将成为研究的重点。

[1]Claudio Bettini.TIME International Symposium on Temporal Representation and Reasoning[C/OL]//2010.http：//time.dico.unimi.it/TIME_Home.html.

[2]Association for the Advancement of Artificial Intelligence.Workshops at the Seventeenth National Conference on Artificial Intelligence[C/OL]//2000.http：//www.aaai.org/Workshops/ws00.php.

[3]James Pustejovsky.annotating and reasoning about time and events[C/OL]//2006.http：//www.timeml.org/acl2006time/.

[4]James Pustejovsky.Task 15：TempEval Temporal Relation Identification[C/OL]//Jan.12th,2007.http：//timeml.org/tempeval/.

[5]Marc Verhagen.TimeM L Corpora[DB/OL].Feb.2006.http：//www.timeml.org/site/timebank/timebank.html.

[6]Roberts A.,Gaizauskas R.,Hepple M.et al.Semantic annotation of clinical text：the CLEF corpus.[C]//Proceedings of building and evaluating resources for biomedical text mining：workshop at 6th international conference on language resources and evaluation(LREC-2008).Marrakech,Morocco：ELRA,2008：300-306.

[7]James Pustejovsky,José Castaño,Robert Ingria etc..Timeml：Robust Specification of Event and Temporal Expressions in Text[C]//Proceeding of 5th International Workshop on Computational Semantics(IWCS-5),Tilburg University,2003.

[8]James.F.Allen.Towards a General Theory of Action and Time[J].Artificial Intelligence.1984,23(2)：123-154.

[9]Steven Bethard,James H.Martin,Sara Klingenstein.Finding Temporal Structure in Text：Machine Learning of Syntactic Temporal Relations.International[J].Journal of Semantic Computing.2007,1(4)：441-457.

[10]Martha Palmer,Dan Gildea,Paul Kingsbury.The Proposition Bank：A Corpus Annotated with Seman-tic Roles[J].Computational Linguistics Journal.2005,31(1)：71-105.

[11]NIST of U.S.Department of Commerce.The ACE 2005 Evaluation Plan[C/OL]//Nov.2008.http：//www.itl.nist.gov/iad/mig//tests/ace/2005/.

[12]M arc Verhagen.TimeML Corpora.[DB/OL].Feb.2006.http：//www.timeml.org/site/timebank/timebank.html.

[13]Verhagen M.,Gaizauskas R.,Schilder F.et al.The TempEval challenge：Identifying Temporal Relations in Text[C]//Language Resources and Evaluation,2009,43：161-179.

[14]Verhagen M.,Gaizauskas R.,Schilder F.et al.SemEval-2007 Task 15：TempEval temporal relation identification[C]//Proceedings of the 4th International Workshop on Semantic Evaluations(SemEval-2007).Prague,Czech Republic,2007：75-80.

[15]M arc Verhagen,,Roser Saur,Tommaso Caselli.SemEval-2010 Task 13：TempEval-2[C]//Proceedings of the 5th International Workshop on Semantic Evaluation(semEval-2010).Uppsala,Sweden,2010：57-62.

[16]TempEval group.TempEval-2：Evaluating Events,TimeExpressions,and TemporalRelations[C/OL]//October 16th,2009.http：//www.timeml.org/tempeval2/.

[17]Steven Bethard,James H.M artin.CU-TMP：Temporal Relation Classification Using Syntactic and Semantic Features[C]//Proceedings of the 4th International Workshop on Semantic Evaluation(SemEval-2007).Prague,Czech Republic,2007：129-132.

[18]Congmin Min,Munirathnam Srikanth,Abraham Fowler.LCC-TE：A Hybrid Approach to Temporal Relation Identification in News Text[C]//Proceedings of the 4th International Workshop on Semantic Evaluation(semEval-2007).Prague,Czech Republic,2007：219-222.

[19]Yuchang Cheng;Masayuki Asahara;Yuji Matsumoto.NAIST.Japan：Temporal Relation Identification Using Dependency Parsed Tree[C]//Proceedings of the 4th International Workshop on Semantic Evaluation(SemEval-2007).Prague,Czech Republic,2007：245-248.

[20]M ark Hepple.Andrea Setzer.Robert Gaizauskas.USFD：Preliminary Exploration of Features and Classifiers for the TempEval-2007 Task[C]//Proceedings of the 4th International Workshop on Semantic Evaluation(semEval-2007).Prague,Czech Republic,2007：438-441.

[21]Georgiana Puscasu.WVALI：Temporal Relation I-dentification by Syntactico-Semantic Analysis[C]//Proceedings of the 4th International Workshop on Semantic Evaluation(semEval-2007).Prague,Czech Republic,2007：484-487.

[22]Caroline Hagège,XavierTannier.XRCE-T：XIP Temporal Module for TempEval campaign[C]//Proceedings of the 4th International Workshop on Semantic Evaluation(semEval-2007).Prague,Czech Republic,2007：492-495.

[23]Naushad UzZaman,James Allen.RIPS and TRIOS System for TempEval-2：Extracting Temporal Information from Text[C]//Proceedings of the 5th International Workshop on Semantic Evaluation,Uppsala,Sweden,2010：276-283.

[24]Eun Ha,Alok Baikadi,Carlyle Licata.et al.NCSU：Modeling Temporal Relations with Markov Logic and Lexical Ontology[C]//Proceedings of the 5th International Workshop on Semantic Evaluation.Uppsala,Sweden,2010：341-344.

[25]Leon Derczynski,Robert Gaizauskas.USFD2：Annotating Temporal Expresions and TLINKs for TempE-val-2[C]//Proceedings of the 5th International Workshop on Semantic Evaluation,Uppsala,Sweden,2010：337-340.

[26]Claire Grover,Richard Tobin,Beatrice Alex.et al.Edinburgh-LTG：TempEval-2 System Description[C]//Proceedings of the 5th International Workshop on Semantic Evaluation,Uppsala,Sweden,2010：333-336.

[27]Jannik Strö tgen,Michael Gertz.HeidelTime：High Quality Rule-Based Extraction and Normalization of Temporal Expressions[C]//Proceedings of the 5th International Workshop on Semantic Evaluation,Uppsala,Sweden,2010：321-324.

[28]Hector Llorens,Estela Saquete,Borja Navarro.TIPSem(English and Spanish)：Evaluating CRFs and Semantic Roles in TempEval-2[C]//Proceedings of the 5th International Workshop on Semantic Evaluation.Uppsala,Sweden,2010：284-291.

[29]Estela Saquete Boro.ID 392：TERSEO +T2T3 T ransducer.A systems for Recognizing and Normalizing TIMEX3[C]//Proceedings of the 5th International Workshop on Semantic Evaluation,Uppsala,Sweden,2010：317-320.

[30]Marí a Teresa Vicente-D í ez,Juliá n Moreno-Schneider,Paloma Martí nez.UC3M System ：Determining the Extent,Type and Value of Time Expressions in TempEval-2[C]//Proceedings of the 5th International Workshop on Semantic Evaluation,Uppsala,Sweden,2010：329-332.

[31]Oleksandr Kolomiyets, M arie-Francine M oens.KUL：Recognition and Normalization of Temporal Expressions[C]//Proceedings of the 5th International Workshop on Semantic Evaluation,Uppsala,Sweden,2010：325-328.

[32]Anup KumarKolya,Asif Ekbal,Sivaji Bandyopadhyay.JU_CSE_TEMP：A First Step towards E-valuating Events,Time Expressions and Temporal Relations[C]//Proceedings of the 5th International Workshop on Semantic Evaluation,Uppsala,Sweden,2010：345-350.

[33]I.Mani,G.Wilson.Robust Temporal Processing of News[C]//Proceedings of the 38th Annual Meeting on Association for Computational Linguistics(ACL′2000),Hong Kong,2000,69-76.

[34]E.Filatova,E.H.Hovy.Assigning Time-Stamps to Event-Clauses[C]//Proceedings of ACL Workshop on Temporal and Spatial Reasoning(ACL 2001).M orristown,NJ,USA ：ACL,2001：88-95.

[35]Frank Schilder,Christopher Habel.From temporal expressions to temporal information：semantic tagging of news messages[C]//Proceedings of the workshop on Temporal and spatial information processing,Toulose,2001：65-72.

[36]Inderjeet Mani,Marc Verhagen,Ben Wellner et al.M achine Learning of Temporal Relations[C]//Proceedings of ACL2006,Sydney,Australia,2006：753-760.

[37]N.Chambers,Sh.Wang,D.Jurafsky.Classifying temporal relations between events[C]//Proceedings ofACL2007.Prague,, Czech Republic, 2007：173-176.

[38]Philip Bramsen,Pawan Deshpande,YoongKeok Lee.et al.Inducing temporal graphs[C]//Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing,Sydney,Australia,2006：189-198.

[39]Nathanael Chambers,Dan Jurafsky.Jointly Combining Implicit Constraints Improves Temporal Ordering[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing,Honolulu,Hawaii,2008：698-706.

[40]Nathanael Chambers,Dan Jurafsky.Unsupervised Learning of Narrative Event Chains[C]//Proceedings of ACL2008：HLT.2008：789-797.

[41]王昀,苑春法.基于转换的时间-事件关系映射[J].中文信息学报,2004,18(4)：23-30.

[42]林静,曹德芳,苑春法.中文时间信息的TIM EX2自动标注[J].清华大学学报(自然科学版),2008,48(1)：117-120.

[43]林静,苑春法.汉语时间关系抽取与计算[J].中文信息学报,2009,23(5)：62-67.

[44]Wenjie Li,Kam-Fai Wong,Guihong Cao et al.Applying Machine Learning to Chinese Temporal Relation Resolution[C]//Proceedings of the 42ndAnnual Meeting of the Association for Computational Linguistics.Barcelona,Spain,2004：582-588.

[45]Mingli Wu,Wenjie Li,Qin Lu et al.CTEM P：A Chinese Temporal Parser for Extracting and Normalizing Temporal Information[C]//Proceedings of IJCNLP2005,Korea,2005：694-706.

[46]Mingli Wu,Wenjie Li,Qin Lu.Normalizing Chinese Temporal Expressions with Multi-label Classification[C]//Proceedings of Natural Language Processing and Knowledge Engineering,2005：318-323.

[47]杜津,杨一平,曾隽芳.自然语言时间信息的模拟与计算[J].计算机工程与设计,2006,27(13)：2419-2471.

[48]徐永东,徐志明,王晓龙,等.中文文本时间信息获取及语义计算[J].哈尔滨工业大学学报,2007,39(3)：438-442.

[49]贺瑞芳,秦兵,刘挺,等.基于依存分析和错误驱动的中文时间表达式识别[J].中文信息学报,2007,21(5)：36-40.

[50]Hovy E.,Marcus M.,Palmer M..OntoNotes：The 90%solution[C]//Proceedings of Human Language Technology of NAACL,Boulder,Colorado,2006：57-60.