陈立鹏 陈小龙 宋诗凡 陈桢衍

（天津工业大学 软件学院，天津 300387）

人类的感知过程是多模态的[1]，样本可以通过不同通道的信息加以描述，每一通道的信息定义为一种特定的模态[2]。相比于单一模态，多模态能更准确地描述出样本的特征。

早在公元前4 世纪，多模态的相关概念和理论即被用以定义融合不同内容的表达形式与修辞方法[3-4]。多模态学习从1970 年起步，经历了几个发展阶段后，在2010 年之后全面步入深度学习阶段。多模态学习可以划分为以下五个研究方向：多模态表示学习、模态转化、对齐、多模态融合、协同学习[5]。

多模态技术常被应用到语义识别中，通常结合图片、文本、语音等,判断说话人的语义，语音识别技术最早可以追溯到1952 年，当时Davis[6]等人研究出了可以识别10 个英文数字发音的实验系统。从那时起到现在，语音识别给我们带来了很多方便[7]。现阶段家教平台众多，大学生家教由于价格便宜，性价比高受到了一些家长的青睐，但是大学生家教还未形成规范的体系，在上课期间可能发生意外情况却无法报警或及时告知能帮助他们的人，针对这一现象，本文提出一种基于多模态语义分析的语音识别报警系统。

1 系统简介

本系统基于Python Tensorflow环境实现了语音识别报警功能，部署本系统的应用在工作场景进行实时录音，当检测到一方对另一方发出具有威胁性或者求救性的语音时实施报警，为避免当事人因无意识地触发词库关键词而导致系统错误地报警，因此需要实时监测被监听者的语音情绪，当被监听者用恐惧或是伤心的语气触发求救关键词立刻触发报警系统，所以实现本系统的关键在于两大模块，分别是：情感分析模块以及语音关键词唤醒模块。……