刘毓 赵云阁

关键词： 教学评价; 词典; word2vec; 支持向量机; 核函数; 情感分析

中图分类号： TN911?34; TP391                 文献标识码： A                    文章编号： 1004?373X（2019）06?0030?04

Abstract： A sentiment analysis method of Chinese short text based on teaching evaluation is proposed to improve the teaching quality of higher education in all aspects and the effectiveness of teaching evaluation from the perspective of supervising experts. In allusion to the strong professionality and feature sparseness for the teaching evaluation data of Chinese short text， a professional dictionary based on teaching evaluation is established. The word2vec language model is combined to train word vectors， so as to conduct dimension reduction for attribute features of teaching estimation data. The support vector machine （SVM） algorithm based on three kernels of the linear kernel， polynomial kernel and radial basis kernel is adopted to conduct sentiment classification for Chinese short text data of teaching evaluation， so as to judge the sentiment tendency of the evaluation. The experimental results show that the SVM based on the radial basis kernel function has the best sentiment classification performance， and can contribute to the improvement of teaching quality.

Keywords： teaching evaluation; dictionary; word2vec; support vector machine; kernel function; sentiment analysis

0  引  言

教學评价是依据教学目标对教学过程及结果进行价值判断，并对教学方案提供决策服务的活动，是对教学活动现实的或者潜在的价值做出判断的过程[1]。教学评价是各个学校中最复杂的工作之一，它需要将各方面因素和各种标准结合起来，以便为专业人士提供最终的评估结果。现有的教学评价方法主要是基于客观评价的打分机制[2]，而主观评价中的文本信息作为教学评价的重要内容，却没有得到有效利用。评价文本信息是教学评价中十分重要的一部分，这些文本信息是以半结构化甚至非结构化的形式呈现的，而现有的决策方法大多仍停留在人工统计和分析上，这无疑增加了分析的难度，无法高效地得到全面的教学分析结果。目前，解决此类问题较为理想的处理方法是文本挖掘中的情感分析[3?4]技术，其能够有效地归纳总结教学评价文本信息，使教育工作者可以准确获得对教学各个评价指标特征的评价意见，以辅助教学决策，全面提高高等教育教学质量。情感分析（Sentiment Analysis）是文本挖掘和计算语言学的应用，从文本中识别信息，对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程[5]。目前，已有一些研究工作将情感分析方法用于教学评价文本信息。文献[6]对来自在线课程的学生反馈英文文本意见进行情感分析，确定情感与辍学率之间存在联系。文献[7]基于从Moodle上收集的学生英文评教信息，提出一种可以检测学生在某些话题上的情感倾向的方法，为教师改进教学方法提供支持。文献[8]从大约1 000个西班牙语评论中，应用基于词典的方法、机器学习方法和混合方法，开发了一个称为SentBuk的应用程序，以检索情感极性和情感变化。这些研究方法都是从学生的角度考虑，并且以英文文本分析为主，没有从督导专家的角度对中文短文本教学评价信息进行情感分析。督导专家的意见是评估教师教学水平和教学能力的主要因素，具有更强的专业性、准确性和权威性，对其挖掘分析，以提高教学评价的有效性，从而提高高等教育教学质量。本文提出中文短文本教学评价情感分析方法，从督导专家的角度考虑分析对教师的文本评价，建立教学评价专业词典，并使用word2vec语言模型[9]，结合支持向量机[10]算法对中文教学评价短文本信息进行情感分类，以提高情感分类性能，并为教学管理提供决策支持。

1  基于中文短文本教学评价的情感分析方法

为了实现中文短文本教学评价信息的有效挖掘和表达，本文提出基于中文短文本教学评价的情感分析方法。该方法首先建立教学评价专业词典，对评价数据进行预处理，随后使用SVM对评价数据进行情感极性分析。

1.1  建立教学评价专业词典

词典是文本情感分析的重要工具和基础任务，词典质量的好坏直接影响情感分析的结果[11]。迄今为止，在中文文本情感分析中，尚未有完整的词典能够涵盖所有词汇[12]。在中文教学评价中，常会出现评价者使用的很多教学评价专业词汇并不能被检索到的现象，造成教学评估不全;同时，也常出现不同评价者使用不同的词语来描述同一属性特征的现象，造成语义混淆。这两种现象既增加了专业人士的分析难度，又增加了教师得出相反性教学决策的风险。由于中文教学评价的专业特殊性，不能直接应用广泛中文情感分析的词典。所以，本文使用HowNet词典和哈尔滨工业大学信息检索研究中心同义词词林扩展版作为基础词典，应用Bi?Gram，Tri?Gram语言模型以及人工标注方法建立教学评价专业词典，以提高词汇检索准确率和全面性。

本文建立的教学评价专业词典包含两部分：第一部分针对在基础词典中检索不到的教学评价专业词汇，建立了教学评价特征词词典，特征词包括教态、前排率、抬头率、课堂设计、案例式教学;第二部分针对同义词，建立了教学评价同义词词典，示例见表1。

1.2  提取属性特征

本文分析督导专家对教师的中文文本评价数据，字数大多在10～150字之间，内容稀疏、特征维度高。因此，结合word2vec语言模型，提取评价数据属性特征，并进行特征降维处理。

實验步骤如下：

1） 输入教学评价文本数据。提取督导专家对教师的中文短文本评价数据，对文本进行筛选，剔除无关文本（比如“今天调课”等），以产生评论语料库。

2） 预处理。用结巴分词对短文本进行分词，词典方面选用HowNet词典和哈尔滨工业大学信息检索研究中心同义词词林扩展版以及本文建立的教学评价专业词典，去除停用词，进行词性标注（个别特殊词语词性进行人工标注）。

3） 属性特征提取。使用第2.2节方法提取属性特征词，并定义特征权重。

4） 文本向量空间模型表示。将教学评价数据表示成高维空间中的向量，一个向量对应一篇评价，向量的每一维对应评价的一个属性特征。

5） 分类器分类。分别应用线性核、多项式核和径向基核的SVM算法训练情感分类器，并对测试数据进行分类。

6） 性能评估。输出分类结果并进行分析。

2.4  结果与分析

核函数分别应用线性核、多项式核和径向基核的SVM作为分类器，应用K折交叉验证法选取最优参数，对测试数据进行情感分类，以比较它们的分类性能。得到的实验结果如表3所示。

由表3可以看出，在选取SVM分类器最优参数的情况下，多项式核和径向基核的宏平均分类准确率相对持平，线性核的宏平均分类准确率较差;线性核和径向基核的宏平均识别召回率较高，多项式核宏平均识别召回率较差;而径向基核在宏平均准确率和宏平均召回率都相对较高的情况下，宏平均综合分类率最高，性能达到最佳。在这三种核函数中，径向基核对中文短文本教学评价数据的分类表现效果最好，而且相对稳定。因此，在运用SVM对非结构化文本数据进行分类时，核函数可优先考虑径向基核。

3  结  语

教学评价文本数据是教学评价中的重要内容，本文提出基于中文短文本教学评价的情感分析方法，建立了教学评价专业词典，为情感分析提供分类依据;评估了督导专家所提供的非结构化文本评价数据，和在线性核、多项式核和径向基核下的支持向量机的情感分类性能，有效解决了教学评价中存在的非线性文本分类问题。本文通过挖掘分析对属性特征进行降维，以提取与教师评价最相关的特征，进行情感分析，可以使教师准确获得评价的反馈信息，从而能及时调整自己的教学工作，以辅助教学决策，提高教学质量。由于教学评价中短文本数据的特征稀疏性以及评价数据的质量将直接影响情感分类的性能，因此，如何更好地提取出教学评价短文本数据中的隐含特征、降低分类性能对评价数据的依赖性，优化分类算法，更好地提高教学质量等是今后研究工作的重点。

参考文献

[1] 刘佳.第四代评价理论视阈下高校教学评价制度的反思与重建[J].教育发展研究，2015，35（17）：56?61.

LIU Jia. On higher education assessment system in the perspective of the fourth assessment theory [J]. Research in educational development， 2015， 35（17）： 56?61.

[2] 庞国楹，刘俊，魏杰.高校教师教学评价系统指标及其权重取值[J].军事交通学院学报，2015，17（5）：83?86.

PANG Guoying， LIU Jun， WEI Jie. Index of teaching evaluation system and its weights in college [J]. Journal of Academy of Military Transportation， 2015， 17（5）： 83?86.

[3] CAMBRIA E， SCHULLER B， XIA Y， et al. New avenues in opinion mining and sentiment analysis [J]. IEEE intelligent systems， 2013， 28（2）： 15?21.

[4] LIU B. Sentiment analysis and opinion mining [M]. San Francisco： Morgan & Claypool， 2012.

[5] 杨立公，朱俭，汤世平.文本情感分析综述[J].计算机应用，2013，33（6）：1574?1578.

YANG Ligong， ZHU Jian， TANG Shiping. Survey of text sentiment analysis [J]. Journal of computer applications， 2013， 33（6）： 1574?1578.

[6] WEN M， YANG D， ROS? C P. Sentiment analysis in MOOC discussion forums： what does it tell us？ [C]// Proceedings of 7th International Conference on Educational Data Mining. [S.l.： s.n.]， 2014： 130?137.

[7] COLACE F， SANTO M D， GRECO L. SAFE： a sentiment analysis framework for e?learning [J]. International journal of emerging technologies in learning， 2014， 9（6）： 37?41.

[8] ORTIGOSA A， MARTIN J M， CARRO R M. Sentiment analysis in Facebook and its application to e?learning [M]. Computers in human behavior， 2014， 31： 527?541.

[9] SU Z， XU H， ZHANG D， et al. Chinese sentiment classification using a neural network tool： word2vec [C]// Proceedings of International Conference on Multi?sensor Fusion and Information Integration for Intelligent Systems. Beijing： IEEE， 2014： 1?6.

[10] PENG S， HU Q， CHEN Y， et al. Improved support vector machine algorithm for heterogeneous data [J]. Pattern recognition， 2015， 48（6）： 2072?2083.

[11] 王科，夏睿.情感词典自动构建方法综述[J].自动化学报，2016，42（4）：495?511.

WANG Ke， XIA Rui. A survey on automatical construction methods of sentiment lexicons [J]. Acta Automatica Sinica， 2016， 42（4）： 495?511.

[12] 牛耘，张黎，王世泓，等.基于多层次语言特征的弱监督评论倾向性分析[J].中文信息学报，2015，29（4）：80?88.

NIU Yun， ZHANG Li， WANG Shihong， et al. Weakly supervised sentiment analysis based on multi?level linguistic features [J]. Journal of Chinese information processing， 2015， 29（4）： 80?88.

[13] 魏晶晶，吴晓吟.电子商务产品评论多级情感分析的研究与实现[J].软件，2013，34（9）：65?67.

WEI Jingjing， WU Xiaoyin. Research on multi?level sentiment analysis system of e?commerce product review and implementation [J]. Computer engineering & software， 2013， 34（9）： 65?67.

[14] TIAN Y J， SHI Y， LIU X H. Recent advances on support vector machines research [J]. Technological & economic development of economy， 2012， 18（1）： 5?33.

[15] LEE L H， WAN C H， RAJKUMAR R， et al. An enhanced support vector machine classification framework by using Euclidean distance function for text document categorization [J]. Applied intelligence， 2012， 37（1）： 80?99.

[16] CORANI G， BENAVOLI A. A Bayesian approach for comparing cross?validated algorithms on multiple data sets [J]. Machine learning， 2015， 100（2）： 285?304.