摘要：移动智能终端的应用程序中，智能算法的使用场景日益丰富。随着移动终端性能的逐渐增强，移动终端计算可以有效地弥补云计算的高延迟、弱隐私和算力依赖等问题。但受限于移动设备硬件多样性，也为终端计算带来了挑战。因此，越来越多的应用程序的技术模式采用云边协同计算的工程體系。本文通过分析移动终端智能、端云协同的工程体系及其在推荐场景下的实例，帮助读者了解移动端智能应用程序的发展与应用。

关键字：移动终端智能；边缘计算；交互式推荐 ；电子商务

引言

党的二十大报告“加快构建新发展格局，着力推动高质量发展”部分讲道，将人工智能作为新的增长引擎，推动战略性新兴产业融合集群发展。IDC与浪潮信息联合发布的《2022－2023中国人工智能计算力发展评估报告》[1]中指出，互联网行业始终是人工智能应用渗透度与技术研发的排头兵，不乏头部互联网企业将自身人工智能的技术对外提供服务，助力其他企业、产业发展人工智能。因此，分析互联网企业在实践中的工程设计，对于人工智能在其他领域应用渗透具有重要意义。

1. 云计算与边缘计算

由于人工智能算法在训练过程中需要海量数据，数据的量级决定其不能由单一用户完成，同时由于模型训练所需的硬件要求的限制，早期智能应用均由云服务进行训练、推理与响应。由此，导致场景应用过程受限于云端的服务算力，在高并发场景下延迟高，用户体验较差。边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供智能计算服务。IDC预测2023年，将有20%的边缘服务器用来处理AI工作负载，70%的企业将在物联网边缘运行不同级别的数据处理。在民用场景中，普及率最高的智能移动终端满足边缘计算全部条件，为互联网实践移动终端边缘计算提供了有利条件。

2. 移动终端计算的优势

2.1 降低计算成本，增加云服务效率

截至2021年2月，移动设备接入互联网比例已高达98.7% 。2021年用于推理的服务器的市场份额占比已经过半，达到56.7%。预计2026年，用于推理的工作负载比重将达到62.2%。不同于科研、中型企业的大规模、高密度人工智能计算，在民用场景中，便捷、低延迟的应用场景愈发普遍。工信部的统计数据显示，智能手机普及率达到了75%，其作为边缘计算的载体可以持续分担民用场景的云端算力紧张，端云智能的细分与协调发展将有效降低成本，提升智能计算的效率。

2.2 计算本地化，时效性增强

当智能算法模型的训练与部署在云端进行，业务的响应需要通过移动终端向云侧服务发起请求，由于模型的推断需要时间，不可避免地出现响应延迟的问题。如果模型推理在数据生产侧进行，就不需要与云端服务通信，对于用户操作响应延迟会大幅度降低，同时可以满足终端设备弱网和离线时的应用[2]。

2.3 数据本地化，隐私安全性高

随着国家《互联网信息服务算法推荐管理规定》《App违法违规收集使用个人信息行为认定方法》对智能应用市场的管理逐渐加强，愈发提升个人数据的隐私保护。全量上传用户终端数据到云端统一计算的模式在业务上具有隐私合规管控风险，通过云端协同，在应用层将终端智能模型下载到本地，本地对用户数据进行推理计算，具备更高的数据安全性。

3. 端计算的挑战

3.1 存储能力的限制

移动端上进行模型的计算涉及引擎SDK、算法模型、数据存储、模型的转发与压缩和模型的管理，云端存储单位以TB 计算，移动终端设备往往只有几百GB存储能力，并且需要装载数十个应用程序，因此对于端上模型引擎、模型与数据存储都有明显的存储限制。

3.2 算力的限制

AI模型受端上包含CPU、GPU与DSP提供的处理器运算限制，其所支持的模型大小有较高的要求。移动设备的功耗与云端服务器差异极大，因此需对模型进行优化。

3.3 智能设备异构问题。

手机终端智能由硬件与软件协同提供。硬件层面，在芯片底层提供加速计算硬件单元，加速机器学习和神经网络常用的矢量和张量计算；软件层面，通过AI算法模型的接口和SDK等软件技术，为上层应用提供加速AI推断过程计算的技术[3]。各芯片厂商选择支持的深度学习框架、模型算子的差异、手机厂商的软件封装差异，需要应用针对不同的手机平台对相应的SDK或API进行适配，从而限制了当前移动终端侧AI应用的快速普及。

4. 端计算与云计算的协同方式

在模型方面，端侧资源与算力相对云端有限，无法支持大规模持续计算，无法支持大型模型计算。智能算法模型的训练需要大量的数据，端侧单用户的数据无法满足数据量级要求，因此算法的训练更适合在云端使用离线数据训练，充分考虑应用场景和移动端设备的情况，需将模型进行压缩、量化、减枝以及知识蒸馏做到模型压缩，将模型集成到应用程序中使推理工作在端侧通过实时数据执行推理。由此云端协作模式为云上以训练为主、端上以推理为主，通过模型压缩将模型小型化后部署到端侧运行。随着移动设备软硬件的进一步发展，各大互联网厂商也在端上尝试训练，使云侧有大模型的训练和推断，端侧也有小模型的训练和推断，云和端之间有模型间学习梯度的通信。在数据方向，端侧对于数据进行计算与存储，将云端需要的数据同步到云端离线数仓，从而实现云端协同智能以及数据一体化。

5. 智能硬件设备的发展

智能终端设备已由智能手机发展到穿戴设备、交通工具、家居设备，多端的端、边缘与云全场景智能平台，由此苹果、安卓和各芯片厂商与整机厂商都在推出与自身硬件配合的全场景机器学习框架。高通于 2022年6月推出支持包括TensorFlow、PyTorch和ONNX在内的，不同AI框架与主流 runtimes的AI软件栈；华为的昇腾计算基于昇腾系列处理器构建的全栈AI计算基础设施及应用，包括昇腾Ascend 系列芯片、Atlas系列硬件、CANN芯片使能、MindSpore AI框架、ModelArts、MindX应用；联发科的 Paddle Lite面向端侧场景的轻量化推理引擎，可以实现飞桨模型在x86/ARM平台下多种OS内的高效部署，同时支持在10种以上的GPU/NPU异构后端进行推理加速和混合调度；小米的MACE同样支持CPU、GPU与DSP的异构计算加速，支持高通、MTK与澎湃等芯片。芯片厂商针对AI进行硬件的迭代，同时手机厂商通过智能相机、语音助理等系统应用等对于智能场景的探索，逐步提升软件的支持能力，封装基础的SDK提供给应用开发者。

6. 软件工程体系的完善

基于不同硬件厂商提供的AI支持的指令集或深度学习框架，将真实的业务应用到端上需要模型压缩、优化、灰度部署与更新等工程能力。在这个方面各软件厂商都有实践，其中腾讯、蚂蚁金服、字节跳动、美团等都有相关的基础建设的沉淀，并作为平台通用能力对外提供，分层架构设计上可划分为计算框架、智能框架、研发平台层。

6.1 数据处理层，实现云端数据一体化

为保障端上模型推理的准确和高效，端侧需支持流式计算来保证数据加工的实效性。避免即时单一的数据消费限制了应用的场景，由此通过实现KV或SQL Lite等方式进行数据的存储。为了提升数据存储的效率，支撑端上的特征工程建设，将多元的数据进行多维度的整合与管理，提供给不同业务以方便高效地消费、共享、定制、复用各自的特征数据。同时数据存储将过滤用户信息的数据加工为样本，为云端模型推理与训练提供支持。

6.2 计算架构层，兼容多种硬件差异

解决端上算法模型运行的问题并兼顾其在移动端性能、尺寸、功耗上的诉求，适配底层不同的操作系统与硬件芯片，为模型的运算提供统一的环境。例如蚂蚁金服的算法研发框架MNN，支持主流模型的文件格式与主流网络结构，通过自实现算子支持不同模型优化算子体积，实现python虚拟机。字节跳动 Pitaya端上虚拟机PitayaVM，通过对内核和标准库的剪裁缩小虚拟机的包体积，优化容器计算和编译时优化等算法提升性能，内置python虚拟机。

6.3 智能框架层，提升应用研发效率

将推理引擎与工程提供封装给业务的组件，屏蔽其对底层运行环境与原子计算能力的直接感知调用。例如蚂蚁金服基于应用范围和垂直类场景的特性，建设了多媒体引擎、生物识别引擎，沉淀了OCR文字识别、人机交互等算法组件，用于支持端上不同业务场景的调用；提供基于数据分层设计的标准数据服务如埋点、特征处理、数据读取与存储；基于上述工具组件在一周内完成研发，例如用于端上异常实施监测的白屏监测方案、基于端侧高质量光学字符识别（Optical Character Recognition，OCR）算法能力，在聊天场景中进行实时防范，提示欺诈性的文字和对话，帮助用户避免被诈骗的反欺诈方案等。

6.4 研发平台，高频迭代下的质效保证

提供研发支撑，包括特征开发部署，模型训练部署以及监控与质量保障。（1）发布管理提供差异化部署服务，同时保障稳定性，做到可灰度、可监控、可回滚，具体包含任务管理、安全发布、监控运维、算法实验等功能；（2）数据处理面向算法提供标准化、规范化的数据服务，包括数据可视化、数据接入授权、数据使用消费统计等内容；（3）模型优化面向算法提供模型训练、模型转换、模型压缩、模型评测等服务。

7. 云端智能一体化在推荐场景的应用

尽可能短的时间内让用户找到自己感兴趣的内容，是推荐场景的核心问题。常用的推荐算法有基于神经网络、深度学习，也有将内容、协同过滤和热度等算法相结合的混合推荐算法[4]，当整个应用部署在云端时，用户通过移动终端发起检索请求后，触发云端执行查询、多路召回、模型排序与展示信息合并处理，最终返回给客户端进行渲染呈现。

7.1 云端计算在推荐场景的延迟问题

上述通用流程服务系统会有每秒查询数的限制，以及网络通信的耗时、传输包体影响，通常会采用分页请求机制，因此存在列表结果排序更新延迟的问题。从两个角度分析：（1）决策机会角度：由于推荐列表基于服务端计算得出，推荐策略调整以端云通信频次调整。出于用户体验的考量，一般一次请求获取的数量是用户在移动终端可视区域内单次展示数据量的5倍左右，意味用户需要完成5屏数据的浏览，才能被推荐自己感兴趣的内容，这使得用户的特征偏好不能被及时响应。（2）特征时效性角度：用户实时反馈信号通过Storm、Flink等流处理平台，以Mini-batch的方式计算后，存入KV特征数据库供搜索系统模型使用，这种方式往往会有分钟级的特征延迟，在营销活动、业务高峰时期延迟更为加剧，降低推荐策略对于用户偏好的响应。

7.2 移动终端侧的用户感知

因为用户的行为数据在端侧采集即可加工，因此较云侧推理采集更丰富且实时性高。例如淘宝的商品列表页面，而在端侧采集的用户行为有20余种，包括用户在商品曝光时的动作与进入商品详情后的动作。在端上的感知相较云上有以下不同：（1）应用负反馈：端上的点击事件比较稀疏，采用浏览而未点击的行为建立负反馈，为了避免模型被大量的曝光事件所主导，采用将曝光行为序列和商品点击序列单独建模；（2）细化特征应用与多个决策：为了能够将用户的感知支持多个决策模型，分别对商品特征和动作特征进行encode（ 特征编码）而后funsion（特征融合），便于下游任务对于商品特征进行attention（注意力机制）；（3）持久化：加工而得的用户特征可以在端侧持久化，做到随取随用，而不会有任何泄露用户隐私的风险，而脱敏数据可以回传云端。

7.3 端云协同推荐的发展

7.3.1规则阶段

在移动终端上部署轻量的规则引擎，将业务运营的规则抽象化和配置化，在端上实时响应用户的实时事件流与特征变化做出反馈。配合规则引擎可以有效提升例如“离开”意图的及时反馈，在“用户挽留”场景下通过发放优惠、弹窗交互，并通过多次商品的特征捕获，推断用户的比价意图，当推理模型触发阈值时向服务端请求更低价的相似商品。

7.3.2模型阶段

基于规则构筑的特征工程，驱动模型的推理，改变本地信息流数据的展示顺序。快手团队针对短视频推荐场景设计的端上模型，已全量应用到生产环境中，影响了日均3.4亿的用户。该模型以用户长期行为序列作为长期兴趣提炼，与用户实时兴趣感知的模型相互补，如表1所示生产环境的A/B实验数据表明，基于单点贪心排序的重排（Greedy Strategy）相对于没有端上重排的基线，用户的有效浏览（Efffective View）、点赞（Like）、关注（Follow）等指标数据都有明显提升，基于上下文感知的生成式重排（Context-aware Re-ranking）在此基础上又带来了进一步的提升[5]。目前基于不同算法的端上重排已在手机淘宝、美团外卖等各互联网信息流场景中广泛应用。

结语

端智能与云端智能互补，通过在端侧进行数据处理与推理计算，提升了应用场景下的运算效率，释放了云端算力压力和数据过滤的压力，同时提升了用户数据的安全性。在面对终端设备与系统的差异性导致适配技术复杂度的问题时，各大互联网厂商与手机厂商分别从应用层和系统层建设平台能力，降低智能模型的云端一体化适配和运维成本，架构设计逐渐趋同，算法正在业务驱动下迭代。互联网厂商探索基于移动终端构筑联邦学习模式，其将通过模型共享，进一步缩短训练过程。相信相似的端云协同的模式也将应用到工业互联网等其他领域。

参考文献：

[1]浪潮信息，IDC.2022-2023中国人工智能计算力发展评估报告[EB/OL].（2023-01-04）.https：//www.wxkol.com/item/3498c29e4d50553e.html.

[2]朱锐，王宏志，崔双双，等.面向元宇宙的云边端协同大数据管理[J].大数据，2023，9（1）：63-77.

[3]庞涛，丘海华，潘碧莹.手机终端人工智能关键技术研究[J].电信科學，2020，36（5）：145-151.

[4]金子坤.基于电商平台的智能推荐算法研究[J].办公自动化，2022，27（1）：25-27.

[5]Gong XD，Feng QL，Zhang Y. Real-time Short Video Recommendation on Mobile Devices[C]//In CIKM '22：Proceedings of the 31st ACM International Conference on Information & Knowledge Management.2022：3103–3112. https：//dl.acm.org/doi/10.1145/3511808.3557065

作者简介：李欣悦，本科，就读于对外经济贸易大学统计学院在职人员高级课程研修班，工程师，研究方向：客户端工程化建设与终端智能。