摘要：人工智能技术的快速发展推动了各行各业的技术进步和发展，尤其是在信息化应用方面取得了显著的成果。本文从功能分析、发展历程、训练模型和训练过程等方面，对ChatGPT进行了深入探讨。结合当前政务服务热线存在的难点与堵点问题，本文指出了ChatGPT技术应用于热线系统的切入点，并强调它对生成式人工智能技术在政务系统中的积极推动作用。当然，为了确保安全性，本文也指出了ChatGPT的局限性和必须以法律法规为前提的应用条件。

关键词：ChatGPT；热线系统；人工智能；12345

一、引言

OpenAI的ChatGPT再一次把人工智能AI（Artificial Intelligence）推向了风口浪尖。

二、ChatGPT的概念

对话式生成型预训练转换系统ChatGPT（Chat Generative Pre-training Transformer）是由OpenAI（美国人工智能研究实验室）在2022年11月30日发布的一款聊天机器人模型。这个模型在发布后迅速走红，仅仅5天时间注册用户就超过100万，并且在2个月内用户数量达到了1亿。

ChatGPT是由人工智能技術驱动的自然语言处理工具，它通过学习和理解人类语言进行对话。这个模型能够根据对话的上下文进行互动，实现持续地交流，仿佛真正和人类进行聊天一样。此外，ChatGPT还可以完成智能问答、撰写邮件、视频脚本、编写文案、语言翻译、生成代码和统计分析等多种任务。

三、ChatGPT的特征

（一）聊天能力

ChatGPT达到了人类的聊天水平，并且隐藏了机器的特性。它能够通过学习“理解”人类语言，并根据上下文环境回答问题，进行多轮对话。

（二）多领域知识

ChatGPT具有广泛的学习能力，能够获取各类知识，上知天文下知地理。它可以帮助人类完成多种工作，如文案策划、脚本编写、代码生成、统计报表、文本翻译等。

（三）内容生成

ChatGPT属于人工智能生成技术的应用，是人工智能内容生成（AIGC）技术的一种具体应用。它基于学习人类语言和各类知识技术，生成智能化、创造性的内容。

（四）模型基础

ChatGPT的核心是一系列相互关联、相互制约的模型，是基于算法的结构。它基于生成式预训练变换模型GPT，通过生成式自监督学习从大量训练数据中学习语言规律和模式，并训练出具有千亿级别参数量的大规模语言模型。核心模型InstructGPT基于反馈指令强化学习，使ChatGPT能够生成与人类常识、认知、需求和价值观相一致的内容。

（五）自我约束机制

ChatGPT具备基于道德训练的自我约束机制。当遇到不了解的问题时，ChatGPT会承认自己的无知；对于质疑，它会虚心接受并进行讨论；对于不正确的问题，它能够提出质疑并指出问题所在；而对于恶意的提问和请求，如含有暴力、歧视、犯罪等意图，ChatGPT会拒绝提供有效答案。

（六）应用符合价值导向和法律规范

ChatGPT的应用必须遵循当地人类的价值导向和法律规范，符合国情要求。相比传统语言模型，ChatGPT减轻了生成内容的危害和偏见，更符合训练素材的价值取向 [1]。

四、ChatGPT的技术

（一）发展历程

ChatGPT是GPT家族的成员，其前身是InstructGTP（亦称GPT3.5）。

GTP-1于2018年6月发布，采用无监督预训练和有监督微调相结合的方法。使用12层模型，1.17亿参数量，预训练数据量为5GB。

GTP-2于2019年2月发布，延续了GTP-1的结构，利用无监督的预训练模型进行有监督任务。采用48层模型，15亿参数量，预训练数据量为40GB。

GTP-3于2020年5月发布，引入了In-Context Learning和大容量Transformer模型进行训练。采用96层模型，1750亿参数量，预训练数据量为45TB。

GPT-3.5在GPT-3基础上，加入了人类反馈强化学习RLHF（Reinforcement Learning from Human Feedback）模型，以加强人类对模型输出结果的调节和排序。

ChatGPT于2022年11月发布，是基于GTP-3.5架构的大语言模型，通过RLHF技术进行强化训练，并加入了更多的人工监督进行微调。

ChatGPT-4于2023年3月15日发布，支持多模态的预训练大模型。

（二）相关模型概述

ChatGPT是基于Transformer架构的自然语言处理NLP（Natural Language Processing）人工智能模型，经过超级级别的语料训练和巨大算力的支持，成为一款聊天机器人。

1. Transformer

Google于2017年提出的深度学习算法，基于自注意力机制，包含编码器（Encoder）和解码器（Decoder）模块，通过编码和解码过程将输入序列转换为输出序列。

2. GPT

基于Transformer的预训练语言模型，通过输入前文的单词序列来预测下一个单词，以达到对自然语言理解的训练目的。

3.RLHF

一种通过奖励机制拟合损失函数指导模型训练的方法。通过人工标注的反馈机制，提升强化学习的效果。

4. RM（Reward Model，奖励模型）

用于微调超大规模参数预训练模型，利用人工标注的数据集对训练结果进行干预和优化。

5. PPO（Proximal Policy Optimization，近端策略优化）

一种近端策略优化算法，利用与环境的交互信息数据，按照随机梯度上升策略优化模型，并对每次优化进行评估，记录经验值以便回放和学习。

（三）训练过程

ChatGPT的训练基于RLHF框架，过程分为三个阶段。

第一阶段：训练监督策略模型

通过随机抽取数据集中的问题，并由标注者扮演用户和人工智能助手的角色给出高质量答案，利用人工标注数据对GPT-3.5模型进行有监督微调（SFT）。

第二阶段：训练奖励模型

再次随机抽取问题，使用第一阶段生成的SFT模型生成多个答案，标注者综合考虑对这些结果进行优劣排名，将这些排序结果用来训练奖励模型（RM）。

第三阶段：采用PPO强化学习优化策略生成回答

再次随机抽取新的问题，通过PPO模型生成答案，并根据奖励模型的评估打分进行策略梯度传递，利用强化学习的方式更新PPO模型的参数。

通过不断重复这个训练过程，并进行迭代调优，可以训练出更高质量的ChatGPT模型[1]。

五、ChatGPT在热线系统的应用

（一）热线系统概述

热线系统是组织利用电话或网站、APP等互联网方式，为解决个人或其他组织的诉求，供大众使用的信息处理系统。

（二）热线系统的分类

根据热线设立者的不同，可以分为政务热线、平台热线和企业热线。

政务热线是由党政机关、事业单位或社会团体设立的，旨在为个人或社会组织提供各类咨询、解决意见、建议、投诉、举报等问题，并反馈处理意见的信息处理系统。政务热线可以采用传统方式（如电话、信函）或新型交互方式（如APP、小程序）运作。例如，“12345政务服务便民热线”就是政务热线的典型形式。

平台热线是由平台的建设维护者创立的，用于回答平台上消费者、经营者和其他个人或组织的咨询、解决意见、建议、投诉、举报等问题，并反馈处理意见的信息处理系统。平台热线同样可以采用传统方式或新型交互方式进行运营。京东、淘宝等建立的热线就属于平台热线范畴。

企业热线，通常被称为客服热线，由企业经营者建立，供其产品消费者、经营者和其他个人或组织使用。企业热线解答各类咨询、解决意见、建议、投诉、举报等问题，并反馈处理意见。企业热线也可通过传统方式或新型交互方式（如APP、小程序）提供服务。电信、联通、移动等公司建立的热线属于企业热线的范畴。此外，企业热线通常会涉及新产品推介和企业文化介绍等内容。

（三）热线系统的难点

12345政务服务便民热线是典型的热线系统，其特点就是受众广（所有人）、部门多（各级政府部门），且涉及所有政府业务的咨询、监督和投诉举报等。在运行过程中，12345热线存在如下难点、堵点问题。

①咨询量大，智能应答能力不足。由于各业务部门众多，热线人员难以满足所有咨询的需求。目前的专家知识支持系统主要依赖于业务部门提供的知识库，并采用关键词搜索方式。然而，这种方法效率较低，效果也有待改进。

②业务种类多，分流难度大。12345热线涉及政府的各个部门，有些部门职责界限不明确。例如，某些业务涉及商务和市場监管等部门，给业务分流带来了困难。分流错误将不可避免地影响办理时效，降低群众对政府工作的满意度。

③统计分类不够精准，对决策支持力度不够。为了提高问题记录的效率和热线接通率，12345热线采用了简化的分类方式。然而，这种做法导致信息的准确性不够，对决策的支持度不高[2]。

（四）ChatGPT在热线系统中的应用构想

①利用ChatGPT的特长进行咨询类问题解答。通过训练ChatGPT并提供大量的法律法规、业务规范和知识库，使其能够掌握各类业务知识，以便承担咨询类问题的解答任务。同时，可以通过语音AI技术实现热线语音与文字的实时转换，将热线用户与ChatGPT连接起来，搭建语音交流环境（待ChatGPT支持语音模态输入时可以直接进行交流）。

②利用ChatGPT进行业务分流工作。经过训练的ChatGPT可以承担业务分流工作。将除咨询类问题之外的工单输入给ChatGPT进行分析判断，并输出承办部门。为实现这一目标，需要在热线系统和ChatGPT之间建立接口，使其成为热线系统的一个组成环节。

③利用ChatGPT进行数据加工，提高统计分析支持力度：ChatGPT可以对数据进行加工，以满足统计分析的要求，提高决策支持的力度。例如，对于商品（产品）的多级目录结构，可以仅记录最后一级目录，然后由ChatGPT对数据进行后加工，自动补充各级目录，以满足统计分析的精准性要求。这样可以减少工作量和用户数据采集录入所需的时间，提高用户满意度。

在平台热线和企业热线系统中，ChatGPT还可以根据热线使用人员的消费习惯，推荐与之相匹配的消费产品或服务，促进消费甚至引导消费。

（五）ChatGPT的局限

①知识更新和可靠性。ChatGPT目前无法进行网络搜索和实时更新知识，其知识水平停留在2021年9月份，并且可能生成错误答案。确实，在让ChatGPT能够上网寻找学习语料和搜索知识方面的挑战，也需要解决与甄别不良内容相关的问题，以确保不受极端人员的滥用。

②训练成本和数据垄断。ChatGPT的训练需要大量的算力和语料支持，这可能使规模较小的组织难以承担高昂的费用，并导致垄断行为。特定语料训练的模型可能忽视其他未用于训练的语料，导致语料范围的垄断现象。

③部署成本和模型大小。ChatGPT的部署需要大量的算力支持。为了降低对资源的依赖，可以考虑采用轻量级模型或更具性价比的算力平台。可借助量化、剪枝和稀疏化等压缩方法来减小模型的大小。

④安全性和符合法律法规。ChatGPT的安全性是不容忽视的问题。训练语料中的政治倾向、宗教信仰、地域文化、科技知识、经济理论、家庭伦理等因素直接影响ChatGPT模型的“思维”。引入ChatGPT时，必须进行全面评估，确保符合当地的道德要求和法律法规。

⑤输入输出限制和应用范围。ChatGPT目前只支持单模态的输入输出，这限制了其应用的便利性和范围。最新公布的GPT-4增加了对图形输入的支持。

⑥对科学领域的局限性。ChatGPT在某些科学领域，如数学领域，不够专业。集成专业的AI模型，如能够进行计算和推理的数学专业AI，可以使ChatGPT更好地应用于科学领域。

⑦涉及谣言和有害内容的处理。ChatGPT如果未经大量语料训练，可能会胡说八道。为了避免ChatGPT受到有害和欺骗性的训练输入影响，可以通过算法屏蔽来防止这类问题的发生。另外，可以通过API过滤来驳回潜在种族主义或性别歧视等不良提示，但无法完全杜绝。

⑧对于“从众”和“以讹传讹”的助推。ChatGPT可能会助推“从众”思维甚至“以讹传讹”的现象，例如在读音方面的改变。这需要引起人们的重视和实施相关的对策。

ChatGPT作为一种新的产品或者说技术，其使用肯定存在许许多多的问题和不足。比如，平衡各种语言的问题、保护小众群体的历史文化等。同时，必须意识到，虽然ChatGPT可能超过人类的平均水平，但也可能淹没人类的最高水平，限制人类科技进步的可能性。因此，在使用ChatGPT时需要进行科学决策和全面评估。

六、结束语

本文主要聚焦于ChatGPT技术本身，而不仅仅局限于OpenAI训练的产品。当应用任何产品和技术时，必须评估其安全性，并确保符合当地的道德要求和法律法规，这些要求是不断变化的 [3]。同时，也要认识到任何产品和技术都不是完美无缺的，都有可能存在错误。尤其是AI模型，如ChatGPT，训练出来的模型也可能会出现失实信息的情况，并且在科学领域的表现可能会相对较差。然而，ChatGPT作为AI领域具有历史意义的里程碑事件无疑具有巨大的潜力，同时期待百度的文心一言能够发展成为中国的ChatGPT，并推动科技的进步和产品的更新。

作者单位：孟繁玉 山东省市场监管监测中心

参  考  文  献

[1]张智雄，钱力，谢靖，等.ChatGPT对科学研究和文献情报工作的影响[R].

[2]孟繁玉.智慧城市之政府熱线系统建设[J].中国信息界，2019，06：92-93.

[3]孟繁玉.网络安全态势感知与人工智能[J].中国信息界，2019，08：89-91.