摘要：中国2780万听障人士中，绝大多数具备阅读能力，同时很多经过特殊教育学校培训过的听障人士具备发音能力。本项目通过研究近眼显示技术，分析和论证触觉和视觉对言语交流的补偿机制;比较了几种主流的近眼显示技术，指出它们对听障人群康复的弊端所在;论证了电润湿技术在帮助成人听障人士康复过程中的作用，指出触觉与视觉的联合补偿机制能够提高听障人群的劳动能力，改善他们的生活品质，减轻社会负担。

关键词：听障;康复;沟通;近眼显示;电润湿

中图分类号：TN873    文献标识码：A       文章编号：1007-9416（2020）10-0000-00

1听障康复

1.1听障现状

听障人群是我国主要的残疾群体，其总人口约为2057万，达到全国人口的1.67%， 其中儿童约为80余万，“迄今国内接受人工耳蜗植入的患者人数累积达到10000余人，其中90%以上是儿童”（曹克利、魏朝刚，中华耳鼻咽喉头颈外科杂志， 2010，45（10）： 798-799）。听障严重制约了听障人群对社会的认知和學习，轻度耳聋患者可以依靠助听器改善生活质量，重度或极重度以上的耳聋患者就只能选择人工耳蜗[7]，但人工耳蜗不仅售价昂贵，而且对聋哑人的身体也有特殊要求。这些因素极大地限制了听障人群对人工耳蜗的选择。

1.2问题所在

造成听障人群各种社会困难的根本原因是言语沟通技能的缺失[3]。但实际上绝大部分听障人群的语言系统良好，具备发音和表达言语的物理条件和生理条件[2]。很多听障人士在经过训练之后普遍具备单向言语表达的能力，即通过言语表达自身意图[5]。但是由于无法听见，导致无法实现双向沟通，同时听障人群也无法判断自身言语的语音大小是否合适，无法准确判断自己的言语内容是否符合自己的真实意图[4]，即缺乏实时校正系统。

1.3解决方案

皮肤听觉补偿系统+近眼文字显示系统。皮肤听觉补偿系统（也可以理解为触觉补偿）可以实现声波导入[2]，但无法在短期内实现听懂的目的;语音文字转换系统可以实现实时的文字转换，但无法获得对声波的感知;两者结合可以实现优势补充。光谱与音频的自动转换技术可以实现不同的人说出来的文字颜色不同[8] ，能够有效实现复杂背景下的多人交流，多人同时说话的情况下所转化出来的文字不会出现逻辑混乱。实现两者结合的载体是近眼显示系统，近眼显示技术的优势是不需要做手术，即戴即用，使用方便，基本不受年龄限制。

1.4方案原理

听障人士在与健听人士语音交流时，可以实现触觉补偿系统与视觉系统的双重补偿，一方面通过皮肤听觉补偿系统感知对方和自己的语音存在及声音的大小，另一方面通过视觉获得同步的文字信息[6]，获得交流对象和自己的语音含义，即实时校正系统得以建立。

通过图1和图2可以看出人类的言语机制（图1）与朗读机制（图2）受听觉皮层功能的影响较小[1]，触觉与视觉的联合补偿机制可以帮助言语机制和朗读机制克服听障阻碍，实现听障人群与健听人群的言语交流。

1.5技术瓶颈

本方案的核心是近眼显示不能遮挡现实情景，近眼显示屏幕的透光率和虚拟文字系统的色饱和度以及画面响应时间是关键。由于近眼显示技术本身尚不成熟，以下通过论证几种近眼显示方案的对听障人群的不足，并出新的近眼显示方案。

2光波导AR近眼显示对听障人群的不足

（1）在使用场合方面，现有的光波导近眼显示产品中，“HoloLens和DAQRI Smart Glasses的亮度约为300尼特，而Magic Leap One亮度约为200尼特”（数据源自网络，https：//t.cj.sina.com.cn/articles/view/5868123755/15dc4766b00100k2ff？from=digit），其他大多数AR眼镜的亮度则仅适合在室内使用，在室外几乎无法用，OLED 或microLED方案也同样存在无法在外界强光下使用的问题。这种缺陷对听障人群的使用是致命性的，会导致室外无法沟通，这对于大多数生活场景和工作场景在室外的听障人群尤其无法容忍。

（2）在视场角方面，现有光学波导方案的FOV视场角缺陷明显，一般只能达到40°×40°的视场角，目前市场上混合光波导方案的最大视场角也仅为51°×51°。视场角小也就意味着可用于呈现文字的空间有限，也就是芯片在进行文字转换时可以调整的空间有限。在语音文字转换过程中，软件需要根据足够的语音信息来判断和组织文字信息，这个过程中需要对前面已经呈现的文字进行必要的修改，如果呈现文字的可视窗口太小，就会使软件调整后的文字无法呈现，这样带来的后果是逻辑混乱，无法满足有效交流的需求。

（3）在透光率方面，现有工业端的光波导近眼显产品中，“HoloLens的透光率大约在40%左右，Magic Leap One的透光率约为15%，2019年初展示的Nreal机型大约具备25%左右的透光率”（数据源自网络）。较低的透光率必然导致清晰度和舒适度的下降，这样的场景对听障人群必须依赖文字进行交流带来了不小的挑战，没有足够的透光率，投射型的文字呈现是无法满足文字识别的需求。

（4）在光学干扰方面，现有的光学波导方案中，存在“光晕、彩虹斑等”现象，这种现象是由AR眼镜侧面或后面透入的杂散光造成的，杂散光会导致显示问题。类似方案的衍射光波导也会导致了色散问题的存在，这是由于衍射过程对于入射光的角度和波长具有选择性选，相同色彩的衍射效率会随着入射角度的不同而浮动，这种情况下整个视场角（FOV）内的红黄蓝三色光的配比出现变动导致“彩虹效应”。对于需要将文字根据音频转换成有色文字的软件来说，如何避免“彩虹效应”至关重要，因为有色文字是听障人群判断文字来源于谁的重要依据，“彩虹效应”会扰乱听障人群的文字归属判断。

3 LCD近眼显示技术对听障人群的不足

LCD理论上可以实现透明型或半反半透型近眼显示系统。但缺陷也很明显，色饱和度、透光率严重不足，遮蔽现象明显。

（1）在透射型条件下，如果没有第三方光源，则透光率明显不足，只能在正午日光下实现透明显示，室内条件下的听障人群得不到满意的体验。

（2）色彩饱和度需求高，透射条件下每单位需要800流明（实验数据）以上才能达到色彩饱和度需求，虽然听障人群对画面没有特殊要求，但只有强光环境下才能看清文字的使用条件显然无法满足听障人群的需求。

（3）半反半透型的LCD方案可以满足室内和室外的应用场景需求，当自有光源亮度超过外部环境光时，会出现虚拟信息遮蔽现实场景情况（实验检测结果），影响听障人群对现实场景的观察。

（4）半反半透型LCD方案需要背光源，这就导致设备具有发热性，关键在于热源距离眼球太近（不足2cm），需要散热风扇（风扇距离眼球约2cm），长期使用会导致眼球干涩，不利于听障人群的长期佩戴。

4 OLED 近眼显示技术对听障人群的不足

透明型OLED 屏幕具有自發光的特点，在室内和室外都能良好地呈现画面，除色散问题外，这项技术的缺点跟光波导很相似。OLED 屏幕还具有“烧屏”（像素衰减）和发热的特征，屏幕本身的发热对眼球的近距离观察极为不利，透明度与清晰度均不理想，同样不利于听障人群的长期佩戴。

5电润湿（Electrowetting，EW）近眼显示方案的潜在优势

电润湿的近眼显示方案主要通过油膜反射实现，在电润湿显示器中包含水和油两种不相溶的介质，其中水的透明性和油膜的非透明特征是构成电润湿近眼显示的关键，通过透明电极的作用可以控制油膜的收缩度[9]。没有电压作用的时候，水和油是相互不溶的，结构是一层水一层油。遇到电压时，油膜收缩一个点[9]。通过对油膜染色就能够实现反射型的近眼显示结构，由于反射结构不需要第三方光源，且电润湿的反射效率超过50%，这就使得电润湿结构的近眼显示方案对听障人群是一个比较理想的文字显示方案。以下分析电润湿方案对听障人群的特殊优势。

（1）反射原理实现的油膜像素成像[9]。可以轻松实现任何色彩的渲染。这使得音频信号和光谱信号有较大的匹配空间，可以实现任意范围的个性音色与文字颜色的转换。听障人群可以通过文字色彩变化轻松实现语音归属的识别。

（2）光源采用的是自然光源，对光源的要求低，适用范围广，能够在室外使用，并且由于使用的是自然光源，其优点恰恰是只要可见光足够就行。这就保障了听障人群可以在复杂劳动条件下的对设备的依赖。

（3）实现了扩大视场角的效果，接近人的自然视场角，可以轻松实现120°×120°的视场角。这样就能够在更大的视角内呈现文字信息，减轻短时记忆的负担，还可以及时呈现软件对文字的修正，防止误解或逻辑混乱。

（4）电润湿的反射原理使得虚拟信息成像不受外界光线强弱的干扰，室内弱光环境和室外强光环境均能实现优良的色彩饱和度，室外光和室内光表现一致。对使用者的眼睛没有副作用，有利于听障人群长期使用。

（5）由于是光反射原理，不存在光波导方案中出现的光折射缺陷和杂散光干扰现象。杂散光在电润湿（EW）单元成像时呈现反射效果，是主要的反射光来源，是EW成像的光源之一（若油膜被设计成为半透明状态是，透射光也能帮助EW单元成像，形成半透明现象）。

6结语

毋庸置疑能够使听障人群获得声波感知和识别的人工耳蜗方案是理想方案，但由于年龄因素、身体因素和价格因素，目前还不能使大多数听障人群接受人工耳蜗的方案。在这样的背景下视觉与触觉相结合重建听障人群的言语机制成为未来有效的替代方案。笔者通过对听障康复技术方案的论证和对近眼显示技术的分析，得出目前康复听障人群较为理想的技术方案和技术组合。笔者认为电润湿方案极有可能成为改善听障人群交流的技术突破口。

参考文献

[1] 【美】贝尔，【美】柯勒斯，【美】帕罗蒂斯.神经科学.探索脑[M].费城：利平科特威廉姆斯.威尔金斯出版社，2005.

[2] 【美】David L. Felten，Ralph F.Jozefowicz.奈特人体神经解剖彩色图谱[M].崔益群，译.北京：北京人民卫生出版社，2009.

[3] 崔刚.神经语言学[M].北京：清华大学出版社，2015.

[4] 罗国刚，李公正.听力障碍后智能结构的改变和评估[J].中国行为医学科学，2001（5）：114-115.

[5] 王枫，胡旭君，秦艳玲，等.听力障碍儿童视觉记忆能力在言语训练中的作用[J].中国听力语言康复科学杂志，2005（4）：19-20.

[6] 邢丹.听力障碍儿童篇章阅读的眼动特征[D].大连：辽宁师范大学，2005.

[7] 曹克利，魏朝刚.亟待加强儿童人工耳蜗植入术后效果的评估[J].中华耳鼻咽喉头颈外科杂志，2010（10）：798-799.

[8] 邓勇，唐彪，郭媛媛，等.电润湿显示彩色油墨材料研究进展[J].华南师范大学学报（自然科学版），2016，48（5）：31-36.

[9] 钱明勇，林珊玲，曾素云，等.电润湿电子纸的实时动态显示驱动系统实现[J].光电工程，2019，46（6）：87-95.

收稿日期：2020-08-18

基金项目：江苏省社会教育规划课题：听障人士的康复培训与就业培训方式研究（JSS-B-2019001）

作者简介：汪勇（1971—），男，安徽舒城人，硕士，研究方向：神经语言学。

Effect of Near Eye Display Technology on Speech Compensation Mechanism of Hearing Impaired People

WANG Yong1，2

（1.Wuxi Vocational College of Science and Technology， Wuxi  Jiangsu  214000;

2.Jiangsu Lijun Intelligent Technology Co.， Ltd.， Wuxi  Jiangsu  214000）

Abstract：Among the 27.8 million hearing-impaired people in China， the vast majority have the ability to read， and many of them who have been trained in special education schools have the ability to pronounce. Through the research of near eye display technology， this project analyzes and demonstrates the compensation mechanism of tactile and visual for speech communication. After comparing several mainstream near eye display technologies， this paper points out their disadvantages in the rehabilitation of hearing-impaired people. This paper also demonstrates the role of electrowetting technology in the rehabilitation of adult hearing-impaired people， and points out that the joint compensation mechanism of touch and vision can improve the labor ability of hearing-impaired people， improve their quality of life and reduce the social burden.

Keywords：hearing impaired; rehabilitation; communication; near eye display; electrowetting