阎志远，汪健雄，游雪松

（1.中国铁道科学研究院集团有限公司 电子计算技术研究所，北京 100081；2.中国国家铁路集团有限公司 客运部，北京 100844)

服务于2022年北京冬奥会、冬残奥会的京张高速铁路(北京北—张家口)于2019年12月30日正式开通运营，承担跨赛区的交通出行，是重要的冬奥会保障配套工程[1]。冬奥会期间，京张高速铁路呈现客流种类复杂化、服务语言多元化、冬奥会规则与铁路业务差异化等困难，并与严峻的防疫需求紧密关联，京张高速铁路的票务应用架构面临着多元化数据融合、系统感知和计算能力方面的挑战。因此，深度挖掘多模态概念，结合冬奥会京张高速铁路多元需求，研究提出多模态票务服务应用架构，综合应用跨区域冬奥会场景下的京张高速铁路多模态票务服务关键技术，形成了售票、验票、检票及客服全流程国际化票务服务闭环，在京张高速铁路实施了多元化票制，研制了中英文自动售票机、开发了多语言售票APP、实现了无接触出站、智能语音导航功能，最终构建了京张高速铁路国际化售票服务，实现京张高速铁路智能票务应用示范，提升了京张高速铁路票务服务智能化水平。

1 京张高速铁路票务应用多模态概念

多模态是指2个或2个以上模态各种形式的组合[2]，其出发点是把语言及其意义的社会阐释扩展到所有的呈现和交际模态，诸如图像、文字、手势、凝视、言语、姿态等[3]。阎志远等[4]首次在铁路客票系统中提出多模态智能应用，围绕京张高速铁路冬奥会多元用户需求，从多模态信息融合、多模态感知交互、多模态智能计算3个方面构建京张高速铁路多模态智能票务模式，解决跨区域赛事人群多元出行需求与高速铁路多模态票务服务协同问题。

单模态数据仅包含了有效信息，往往无法实现精准预测结果，为了获取更多的有效信息，多模态信息融合概念应运而生，多模态信息融合扩宽了数据覆盖范围，学习了来自多个模态的信息，实现了各模态信息之间的互补，有效地提高了预测模型的鲁棒性[5]。对传统多模态信息融合概念泛化，创新在针对冬奥会的智能票务体系提出多模态信息融合概念，是指通过融合客票系统本身数据仓库的有效信息，以及在物理世界采集到的冬奥会、冬残奥会不同时间、空间的多元异构数据信息，采取有效的数据管理和挖掘手段，从而更准确地实现客流预测、客流密度监测、客流形态分析，最终更智能地服务于多元运输模式匹配、多元化票制与票样设计、时空演化条件下旅客全流程出行链挖掘。

传统多模态感知交互是指生物通过多重感知器官与经验来接收信息和进行交互的过程，通常是指人通过声音、肢体语言、信息载体(文字、图片、音频、视频等)、物理环境等多个通道与机器进行交互[6]。基于此提出智能客票系统多模态感知交互概念，旅客通过多重感知器官及冬奥会特定环境下的高速铁路客票相关环境体验来与售票、检票、验票、个人智能设备等进行人机交互的过程，包括但不限于旅客通过视觉、声音、肢体语言、文字、图片、视频等与中英文自动售票机、铁路12306中英文网站、铁路12306中英文APP、智能电话客服等进行的交互。

多模态智能计算属于交叉学科领域，以搭建可以处理和关联来自图形、图像、语音、文本、数值等多种模态信息的模型为目标，是解释和推理关于多模态信息的途径，是计算机视觉和交互式人工智能模型的最终融合，为计算机提供更接近于人类感知的场景[7]。提出的智能客票系统多模态智能计算概念，主要是指人脸识别多模态智能计算、多模态敏感数据(证件号、手机号、注册卡、人脸)信息挖掘、深度学习语音识别与语义理解算法。

2 京张高速铁路多模态票务应用架构

综合上述3方面多模态理论基础，从冬奥会京张高速铁路多元用户需求出发，基于京张高速铁路多模态智能票务模式研究结论，提出多模态票务服务应用架构如图1所示。

图1 多模态票务服务应用架构Fig.1 Application architecture of multi-modal ticketing service

多模态票务服务应用架构由智能感知层、数据资源层、多模态应用服务层和服务提供层组成。智能感知层主要包括进出站设备使用的人像景深、红外测温等传感器，以及闸机NFC、QR传感器和用户APP的设备指纹、终端定位等广义传感器；数据资源层融合了电子客票行程信息、列车运行图数据、调度信息、冬奥赛程、门票以及冬奥注册相关方信息和地方综合交通数据；通过多模态应用服务层，综合提供多模态信息融合、多模态感知交互和多模态智能计算等平台服务；通过服务提供层，旅客可在线上或线下自助购票，在冬奥会期间为不同购票群体提供特色多元票制服务，旅客购票成功后，可直接凭有效身份证件刷电子票进站，也可换取具有冬奥会特色的纸质车票，旅客进站后按照不同的利益相关方乘车路线到指定车厢乘车，到站后，凭电子客票或有效身份证件检票出站。在太子城站，为了给旅客出站提供便捷服务，开通了刷脸出站服务，由此构成冬奥会期间旅客出行的全流程出行链，并在旅客出行过程中，提供全行程的个性化客服服务。

2.1 多模态信息融合服务

铁路票务体系通过各种差异渠道感知和采集不同利益群体、冬奥会时空信息、旅客出行需求信息、天气信息、观众对比赛项目的接纳度和偏好信息、疫情信息等，这些数据通常具有空间、时间或时空特性，如气象数据通常是时间数据/序列，而3个赛区办赛信息、节假日交通流量同时涉及时间与空间数据，这些多源异构数据在采集后，结合铁路12306数据仓库的数据信息构建多模态数据层，通过有效的数据管理方法，形成多元化车票信息、运输能力信息、全时空需求链信息库，而后采用机器学习及相关预测算法等对上述数据进行挖掘和分析，以提供需要的服务，最终服务提供的数据将进一步修正和优化多源异构数据的种类和数量，形成多模态信息融合闭环。多模态信息融合技术架构如图2所示。

2.2 多模态感知交互服务

当用户因为要达到某种目标，决定与某个机器进行交互时，其行为和选择是相对稳定的。例如，当旅客需要线上购票，则会选择与铁路12306网站或手机APP进行交互；当旅客需要处理一些问询和投诉，则会选择与铁路12306客服进行语音通话；当旅客到车站现场线下购票时，则会选择与窗口或者车站自动售票机进行交互；当旅客在车站自动售票机购票遇见问题无法解决时，则会选择招援服务，通过远程人工客服协助完成购票。由此可见，在人机交互中，人和机器是2个重要的主体，其中人是交互行为发生的主体，机器是交互行为发生的客体。人因为事先有一个需要实现的目标，选择能实现目标的目标设备，然后才能发出相应的交互目标请求，主动与机器进行交互，交互后，人会衡量自己的交互操作是否达到了期待的结果，实现最初的目标，并做出评价，形成人机交互闭环。旅客行为模式示意图如图3所示。

图3 旅客行为模式示意图Fig.3 Schematic diagram of passenger behavior mode

自然的交互方式是用户不必学习新的知识和技能就能方便地与机器进行快捷方便交互，但并非所有的技能都是天生的，而是利用那些人们已经拥有的知识和技能。交互模型是对用户与产品交互过程中彼此间行为关系的解释，较好的交互模型的导出可以很好地指导产品的开发和交互设计，从一定意义上来说，产品的设计实际上也是行为的设计，当产品的性能与人的行为相互支持步调一致时，便构成了人与产品间的和谐关系，将这种关系物化，便是新设计的出现[8]。由此可见，对于用户即旅客来说，多模态交互设计产品首先应直观可见，方便旅客在物理交互空间中选择目标票务服务相关设备；其次应可以运用自然的、直观的包括视频、语音、手势、触觉、情绪等在内的多模态交互方式向票务服务相关设备表达其意愿；最后可以通过感觉器官如眼睛、耳朵等来接收系统的反馈。以乘客的购票行为为例进行分析，其购票交互操作通常是在特定的空间下即火车站售票大厅完成的[9]。对铁路智能票务体系中存在的多模态交互进行总结，多模态交互关系表如表1所示。

表1 多模态交互关系表 Tab.1 Multi-modal interaction

2.3 多模态智能计算服务

多模态智能计算应用在智能票务服务，主要体现在多模态智能票务客服、多模态验检票人像识别及基于冬奥会旅客出行服务数据模型的售票隐私保护。

2.3.1 多模态语音识别智能计算

将多模态智能计算应用于语音识别中，充分考虑音频和文本对于语音识别贡献的差异性，引入跨模态注意力机制[10]来度量这种相关性，通过匹配度计算和加权向量计算，实现声学模型和语言模型的联合建模，解决两模型间的协同问题。跨模态注意力机制的声学和语言联合建模模型架构如图4所示。

图4 跨模态注意力机制的声学和语言联合建模模型架构Fig.4 Joint modeling model architecture of acoustics and language for cross-modal attention mechanism

2.3.2 多模态人脸识别智能计算

人脸识别多模态智能计算以可见光下的人脸图像(人脸检测和区域分析)、红外成像的人脸图像(额头部分进行温度测量)和戴口罩的人脸图像(戴口罩人脸识别)数据的采集为基础，将旅客是否佩戴口罩及人脸特征识别和提取的过程合二为一，最终实现疫情条件下，佩戴口罩旅客的人脸识别和测温。其中，可见光图像和红外图像分别通过可见光传感器和红外传感器得到，戴口罩的人脸图像是经过将人脸和遮挡物进行3D多维图像建模后再映射到二维平面上得到的，实现用于戴口罩人脸识别的算法模型，对人脸检测算法的网络结构进行优化，将人脸检测与遮挡物识别2种模态过程合二为一，最终实现戴口罩旅客的人脸识别智能算法。多模态人脸智能识别算法如图5所示。

图5 多模态人脸智能识别算法Fig.5 Multi-modal face intelligent recognition algorithm

人脸图像具备角度、关键点、遮挡(口罩、墨镜)等多重模态属性，在冬奥会期间，由于国外友人的参与，还增加了多肤色的属性，对其构建多肤色人脸数据集，建立多肤色识别模型提取人脸种族特性，根据多重模态特征，搭建多属性识别模型，再通过多任务卷积神经网络深度学习算法，将多模态人脸质量属性融合到一个模型中。

2.3.3 多模态隐私保护智能计算

冬奥会海量的出行数据中包括旅客证件号、手机号、护照号等涉及个人隐私的数据，需要一个完整的保护策略，首先应具备多模态多维度的敏感数据发现模型。通过对不同类型的数据源信息进行识别，利用基础识别技术、正则化表达式、机器学习等多模态智能计算方法，将敏感信息挖掘出来。多模态敏感数据发现模型架构如图6所示。

图6 多模态敏感数据发现模型架构Fig.6 Architecture of multi-modal sensitive data discovery model

3 京张高速铁路多模态智能票务应用示范

3.1 应用示范方案

2020年11月 铁 路12306已开通12306网站英文版，为配合冬奥会售票保障工作而研发的支持英、法等多国语言扩展的多语言售票APP即铁路12306 APP多语言版于2021年12月24日正式发布；在北京冬奥会期间，冬奥会注册人员和持北京冬奥会门票观赛中外旅客可通过铁路12306网站(含手机APP)冬奥会专区绑定相关信息免费预订京张高速铁路冬奥会相关车票。其中旅客席位预订分2类人群。

（1）冬奥会注册人员。冬奥会注册人员采用北京冬奥组委发放的身份注册卡作为有效身份证件和电子客票载体，注册人员登录铁路12306网站冬奥会专区后，按指引进行相关操作，通过铁路12306网站信息核验的，将免费为其发放一张指定区间(清河—太子城/延庆)、指定有效期内用于往返各地场馆的定期票，并使用该定期票预约车票。

（2）持北京冬奥会门票观赛旅客。持北京冬奥会门票观赛旅客需在铁路12306网站注册成为12306用户，填写所持冬奥会门票票号和赛事场次号信息。铁路12306网站通过数据比对完成信息核验；通过验证的，将免费为其发放一张指定区间(北京北/清河—太子城/延庆)、指定有效期内一次往返观赛场馆的计次票，旅客凭该计次票在铁路12306网站按需预订往返观赛场馆的高速铁路车票。

3.1.2 车站冬奥会服务方案

北京冬奥会在北京市区、延庆和崇礼3个赛区分别举办不同赛事。因此，选取清河站、延庆站和太子城站作为应用示范车站，配置冬奥会特色报销凭证和行程信息提示专用票卷为旅客提供打印服务，渠道以自动售票机为主。车站综合服务窗口少量配置冬奥会特色票卷，供特殊旅客使用。

（1）车站服务专窗。在清河、太子城、延庆站设置冬奥会票务专窗，为冬奥会注册人员和持票观众预订和取消预订京张高速铁路冬奥会相关车票，业务规则比照铁路12306网站。

（2）中英文自动售票机。中英文自动售票机在清河、延庆、太子城站每站选取2台自动售票机进行试点。

另外，循环小数作为有理数却没有在图3的举例中被列举出来，全章节的内容中也未涉及任何循环小数的知识，这种对概念的不完全解读，会阻碍学生对有理数的透彻理解和认识．

（3）远程协助售票。远程协助售票功能服务于国内“脱网人群”和国外旅客使用自助设备等场景，为旅客提供人工远程服务。在张家口、清河和八达岭长城站部署，其中张家口站2台自助设备可提供服务。

（4）检票乘车。冬奥会注册人员可凭手机APP的检票二维码扫码检票进站乘车；持奥运门票观赛旅客可持预订车票时的有效证件检票进站乘车。检票规则分3种情况：①闭环内检票规则。清河站验检分设自助检票闸机，延庆和太子城站验检合设自助检票闸机，允许冬奥会注册人员直接扫码检票进站。②闭环外检票规则。清河站验检分设自助检票闸机，允许冬奥会注册人员直接扫码检票进站。延庆和太子城站验检合设自助检票闸机，不允许冬奥会注册人员直接扫码检票进站，需通过冬奥会专用检票通道检票进站。③闭环类型控制规则。车站闸机根据闭环类型，对通过闸机的旅客进行识别控制，即闭环区的闸机只识别闭环区的车厢席位，非闭环区的闸机只识别非闭环区的车厢席位。因冬奥会注册人员错选闭环类型而预订错车厢的，检票闸机将不允许其进站。冬奥会注册人员需通过在线修改闭环类型，取消全部已订席位后再重新预订席位进站乘车。

（5）实名制核验[11]。①车站闭环区域只扫码不核验。在车站闭环区域现场不设置人员证件核验设备，不进行身份注册卡核验，不做“票－证－人”一致性核验，直接扫码通过高速铁路闸机经过闭环流线乘车。②车站闭环外区域先核验后扫码乘车。为防止非冬奥会注册人员持身份注册卡进出站乘车，在高速铁路车站闭环外区域比照涉奥场馆配备通道式证件核验设备，对身份注册卡及持卡人进行“人－证”核验。清河站“人－证”核验通过后，须通过人工实名验证口验证“票－证”一致性后进入车站候车区域再扫码乘车。延庆、太子城站直接进入候车区域，在检票口“人－证”核验后，通过人工检票通道乘车。现场无法通过核验的人员不可进站乘车。

冬奥会期间，在太子城站部署测温、刷脸一体化的“无接触”出站检票闸机，实现旅客无感出站。

3.1.3 列车票务保障

冬奥会期间京张高速铁路分为智能型复兴号、普通型复兴号2种情况设置车厢。其中2组智能型复兴号闭环管理人员安排在1—5号车，5号车为多功能车，满足媒体需求；普通旅客安排在7—8号车；6号车设置为隔离车厢。普通复兴号闭环管理人员安排在1—4号车，普通旅客安排在6—8号车，5号车设置为隔离车厢。

在列车席位权限设置方面，席位按照闭环冬奥会注册人员(奥运闭环)、非闭环冬奥会注册人员(奥运非闭环)、持冬奥会门票观赛旅客(奥运观赛)及普通购票旅客使用群体不同划分成4部分。客票系统需增加“奥运闭环”“奥运非闭环”“奥运观赛”3个奥运专用用途，席位策略按照一站直达设置，不设共用、复用和转票策略。

3.2 成果及示范成效

3.2.1 多元化票制与冬奥会纪念票

创新票制票面设计，通过融合冬奥会文化、百年京张、一站一景等理念，设计了适合冬奥会场景的冬奥会特色纸质车票和行程信息提示单，既服务冬奥会办赛又可宣传京张高速铁路建设成就。冬奥会期间特色车票每日打印车票量在1 000 ~ 2 000张，线下累计打印6.8万张冬奥会特色纸质报销凭证及纪念票。

3.2.2 中英文自动售票机

中英文自动售票机是对传统自动售票机系统进行升级，采用B/S与C/S相结合部署模式，通过翻译动态加载技术在中文操作界面基础上实现中英文动态切换。中英文自动售票机支持VISA，MasterCard，JCB等国际卡支付，方便持国际卡旅客自助购票。冬奥会期间中英文自动售票机每日服务人次达100余人。

3.2.3 远程协助购票

远程协助购票是在自动售票机上利用音视频通话、信令控制、呼叫排队、远程控制等技术，赋能远程协助场景。冬奥会期间，将清河站、太子城站、延庆站的呼叫请求优先级设置为最高，保障重要车站的呼入得到快速响应，同时国外旅客使用自动售票机的英文操作界面时，其呼入请求优先分派到英语沟通能力较好的工作人员，协助其完成购票。张家口站2019年12月31日—2022年3月14日期间共接听1 437次远程协助购票呼叫。

3.2.4 铁路12306多语言售票APP

铁路12306多语言售票APP在冬奥会期间全网使用，为京张高速铁路提供多语言售票和冬奥会专区服务保障功能。铁路12306英文版售票量每日约1 000张，手机APP售票量占1/3左右，网站售票量占2/3左右。铁路12306多语言售票APP支持语言包快速集成，后期可扩展更多国家语言。

3.2.5 无接触出站

无接触出站是结合冬奥会期间防疫及不同肤色人群的需求，设计了面向口罩遮挡和多肤色人群的人脸识别技术升级，攻克了旅客配戴口罩、墨镜及大客流快速通过等条件下的刷脸检票难题。基于三维人脸建模，实现了戴口罩人脸数据的生成功能，用于针对口罩遮挡的多模态人脸识别算法开发，其中戴口罩人脸乘客试验通过率达90%以上，远超其他第三方算法。通过构建多肤色人脸数据集，研究人脸肤色分类识别模型，实现了多肤色人脸识别过闸应用，达到为全球旅客提供一致化服务的能力。冬奥会期间，无接触出站应用日均刷脸出站达151人次，单人次通行时间小于3 s；戴口罩通过率从64%提升到84%；无口罩通过率从88%提升到94.5%。

3.2.6 智能语音导航

研发了智能客服知识库、智能语音导航系统并在北京、上海铁路12306客服中心应用，首次在冬奥会办赛环节提供了英语、日语和俄语的铁路票务客服热线服务。冬奥会期间客服日接通率稳定在95.23%以上，自助服务解决率从45%提升至60%，智能语音导航业务覆盖率达93.2%。

3.2.7 高速铁路国际化票务服务全流程乘车闭环应用

针对冬奥会注册人员，冬奥会持票观众、团体宾客等不同人群，构建乘车凭证、账户绑定、席位预约、车票退改、获取行程信息、检票乘车等全流程乘车服务闭环，以冬奥会注册人员为例，高速铁路国际化票务服务全流程乘车闭环应用示意图如图7所示。

图7 高速铁路国际化票务服务全流程乘车闭环应用示意图Fig.7 Closed-loop application of whole process of high speed railway international ticketing service

4 结束语

北京冬奥会及冬残奥会运输服务时间为2022年1月21日—3月16日，在共计55天的高速铁路保障运输期间，多模态票务应用系列成果为京张高速铁路提供了优质、安全、高效的运输服务。研究成果解决了冬奥会客流种类复杂化、服务语言多元化、冬奥会规则与铁路业务差异化等困难，并可适用于防疫防控常态化的乘车需求，为以高速铁路保障大型赛事跨区域办赛提供了理论和实践基础。