徐治理，霍龙社，曹云飞，崔煜喆（中国联通研究院，北京 100176）

0 引言

近年来AI技术取得了革命性的进步，算法方面从统计学习方法到深度学习，算法的广度、深度不断扩展，丰富度和复杂度不断提高［1］。同时，也涌现出一批能提供常用开发工具的深度学习框架，如Tensorflow、Pytorch 等，广受AI 开发者欢迎。AI 的应用范围也在不断扩展，从推荐系统到自然语言处理、计算机视觉、语音处理等各个领域都有了成熟的算法和模型［2］。人工智能技术的关注点也从提高算法精度、模型性能扩展到了怎样让其应用到实际的生产环境中。

在人工智能算法模型开发、训练完成后，需要将其部署到互联网云端以便用户实时访问。但目前AI模型的封装和部署还存在较多问题。AI 模型开发丰富的框架和工具使在生产中配置模型运行环境非常复杂，尤其是在需要运行多个模型时，更是会面对工具和版本的各种冲突。AI 模型运行需要较多的计算资源，在实际运行中如何对AI模型服务占用的资源进行灵活的管理和及时的调度也是亟待解决的问题。AI技术对很多用户来说是一个新的领域，对包含AI服务代码的开发和部署需要很多前置知识，找到一种能灵活支持对各种AI 模型进行封装并能实现自动化发布和部署的技术具有十分重要的意义。

1 现有AI模型部署技术

人工智能模型部署方式根据处理数据的实时性，分为离线模型和在线模型［3］。在线模型根据使用的技术、适配的框架又分为专用模型部署、通用模型部署等。……