整理/张宏羽

Q&A

主持人

赵玮

最高人民检察院第四检察厅主办检察官

2023外滩大会检察分论坛以“数字时代的司法治理：技术、法律与社会的交汇”为主题。在本次论坛的“圆桌与谈”环节，与会嘉宾就“人类与人工智能如何实现共生发展”等问题展开交流讨论，探寻数字时代的治理之道。

趋势

赵玮：人工智能已经被广泛应用并逐渐融入生产生活的方方面面，我们无不感受到人工智能带给社会的无穷变化和无限可能。那么，人工智能目前的应用情况如何，又呈现出怎样的发展趋势？

伍大勇：从技术发展的视角出发，结合ChatGPT（一款聊天机器人模型）的推出所带来的影响来看，大模型在人工智能领域的产业应用趋势主要有四个方面：第一，改变信息获取方式。大模型可以根据用户需求提供相关内容，大幅提高信息获取效率。第二，革新内容生产模式，高效创作高质量内容。大模型可以快速自动生成内容，彻底改变内容创作的生产模式。第三，通过对话自然交互方式完成各类任务，提高用户体验和工作效率。第四，提高工作效率并推动创新。大模型技术逐渐赋能各个行业，包括在教育、医疗、工业、办公、科研等领域。如在教育领域，实现个性化学习推荐、智能辅导等；在医疗健康领域，实现疾病诊断、治疗方案推荐等；在制造业领域，实现生产过程优化、设备维护预测等，帮助制造企业提高生产效率，降低成本。由此我们可以发现，大模型技术打开了通用人工智能的大门。

唐云佳：从网络安全的视角出发，结合打击犯罪的实际来看，人工智能被涉网违法犯罪利用后打击犯罪呈现出多种新趋势：一是传统的犯罪手法、技术等衍生出新变种。传统共识因为人工智能新技术被非法使用而受到挑战，如在涉诈骗、网络淫秽犯罪中换脸、换头、合成虚假视频等新技术的应用，导致“眼见不一定为实，耳听不一定为真”。二是网络违法犯罪出现新的技术支撑。涉网犯罪链条中，出现了人工智能的身影，帮助信息网络犯罪或者提供黑客工具。三是大模型本身拥有强大算力，作为被侵害方，偷取算力或偷取经过大数据、大模型加工的数据事件随之发生。

挑战

赵玮：人工智能时代下机遇和挑战并存，对于法律工作者来说，如何去认识和把握挑战，化调整为机遇，是我们必须考虑的问题。围绕人工智能技术在执法、司法领域的应用可能带来的风险，或者人工智能发展对传统执法、司法体系的运作和决策过程的影响，请各位专家结合自身研究领域和工作实际分享看法。

黄道丽：从技术与法律交融的角度来看，由于人工智能技术尚未完全成熟，加上公安执法本身的复杂性，在提升工作效能的同时也面临诸多风险，主要包括：第一，人工智能技术本身的特性或存在的缺陷会带来应用中的共性安全问题。第二，技术应用过程可能带来数据安全风险。第三，人工智能应用于公安执法这一特定场景下的安全风险。因此，执法与技术的关系是复杂而多面的，人工智能的执法应用不仅要考虑技术本身的问题，也要考虑地域差异、法律环境、执法需求，平衡好价值取向，在现有执法司法制度、法律体系框架之下嵌入，作出审慎恰当的抉择。

蒋红珍：从数据安全的角度来看，尤其是对于个人隐私和数据秩序，人工智能技术的应用带来不小的挑战：数据的隐私保护在《民法典》和《个人信息保护法》的基本法律框架之下，最核心的保护机制是“知情—同意”规则。围绕于此，形成公益排除，以及最小必要原则。生成式人工智能技术的高度自动化和复杂性特点，导致其很难在自动收录用户个人信息的同时，让信息主体充分全面了解个人信息的处理过程和结果，容易对“知情—同意”规则的构架产生冲击，最小必要原则也可能会被架空。技术更迭与权利保护本位之间产生的张力需要生成式人工智能对个人信息处理符合明确、合理的处理目的，以及通过对当事人权益影响最小的方式进行信息处理。

Q&A

嘉 宾

黄道丽

公安部第三研究所网络安全法律研究中心主任、研究员

Q&A

嘉 宾

唐云佳

上海市公安局网安总队三支队副支队长

Q&A

嘉 宾

伍大勇

科大讯飞股份有限公司北京研究院执行院长

Q&A

嘉 宾

蒋红珍

上海交通大学凯原法学院教授、博士生导师

Q&A

嘉 宾

蒋科

中共上海市委网络安全和信息化委员会办公室网络管理处处长

蒋科：从网信管理的视角出发，结合网络监管实际来看，对于未来大模型安全的风险，我们可以从两个维度来探讨：一是传统的普遍性的维度，从“数据安全——内容安全——技术安全”看待风险。数据安全方面主要包括14岁以下未成年人的信息、成年人的身份、行踪轨迹、金融账户、生物特征等；内容安全方面主要指违法违规的内容，包括损害国家形象的、违法犯罪的、有偏见和歧视的内容等；技术安全方面主要包括可能会发生的大模型被窃取、恶意篡改等。二是内容生产环节维度，从“输入端——中间端——输出端”看待监管。输入端是指问答指令的输入，是不是有违规的词组、有恶意、挑逗式的问题需要进行拦截；中间端是数据的选择和清洗的环节，有害数据是不能够选择使用的同时，对数据选择之后还要大量进行标注，包括机器标注和人工的标注，把高位敏感的清洗掉，再通过人工标注进行细化；输出端则是对生成内容进行拦截。网信部门作为网络安全主管部门，未来从环节端应对安全风险更加具有可控性，否则会对司法、教育、金融等多领域产生影响。

共生

赵玮：人工智能时代出现新的风险、新的问题和新的冲突，需要我们树立新的理念、建立新的机制和采取新的举措，从而实现人机共生发展，同向而行。那么，如何真正实现技术、法律与社会的共生发展？人工智能如何为高质量发展提供更多的支持和帮助呢？

伍大勇：从ChatGPT处理能力的角度来看，以大模型为代表的人工智能新技术的产生，打开了人工智能的一扇门，让人工智能和社会的结合越来越紧密。一方面，人工智能解放了人类的智力劳动，可以处理文本、图像生成、机器翻译等，可以说开启了“第四次工业革命”；另一方面，人工智能开始处理多模感知，更接近客观世界，随着其迅速发展，各种处理能力的不断上升，在未来会给我们的社会生活带来更大的变化与变革。

蒋科：在网络监管方面，需要坚持以下两个原则：一是分类监管原则，针对具有舆论属性和社会动员能力的重点平台重点领域进行分类监管，如资讯平台、社交平台、音视频平台、直播平台、搜索引擎、问答社区及公众账号。二是包容审慎原则。通过备案+承诺制，企业开展自我评估后提供评估报告，按照备案要求提交备案表及其模型服务协议、数据标注的规则、关键词的列表及测试题的测试结果等材料，经过一定的期限后自行发布。上述两大原则将促进大模型更加健康规范地发展。

黄道丽：从大模型发展安全保障的角度来看，每个国家对人工智能带来的安全风险的治理路径是多元化的，与每个国家的环境、价值取向、立法基础密切相关。尽管各国都倡导安全、透明等原则性的人工智能监管理念，但在具体思路和方式上，存在诸多不同。目前，我国在人工智能领域的规定采用区分业务领域、区分技术方向的措施。人工智能技术蓬勃发展，当下阶段性的管理办法难以穷尽技术层面的细节，在分类分级监管规则、舆论属性和社会动员能力标准等领域尤其如此。过往监管实践预示我国倾向于建立一套“1+N”式法律框架，以基础性和原则性规定组成为主，以特定问题和技术领域的专项规则和指南为辅，确保对人工智能技术全面监管。值得指出的是，人工智能的治理需要软法与硬法有机结合，关注价值观、治理体系、治理对象以及效果评价。我们要正确认识并协调“破坏性创新”与“试验性监管”之间的关系。对人工智能的监管应该是一个持续优化的体系，有一个能够快速吸收、修复、完善的路径。

唐云佳：随着人工智能的迅速发展，法律监管需要快速适应和调整，以平衡技术创新与法律监管。这是一个慢慢磨合互相适应的过程。在这个过程中，一些细分赛道的人工智能，能更快更好的与当前的监管体系达成平衡态。大模型的产品，由于多方位的发展，需要的磨合适应调整的周期会更长。

蒋红珍：从个人权利保障的角度来看，人工智能健康发展、共生发展，需要平衡人工智能技术的发展和个人权利保护之间的矛盾，需要立法机制和相关配套机制的完善，为如何平衡人工智能技术发展与个人权利保护划定必要的界限；需要推进人工智能技术发展的公司需要强化社会责任意识和守法合规的意识，积极采取自我规制，提高对个人隐私和信息使用的保护；需要监管部门在对个人信息保护提出合规要求时，既要严格执法，也要包容审慎。

赵玮：数字时代的司法治理需要重点处理好三大关系：第一，安全和发展的关系。数字时代司法治理首先要坚持安全底线，没有网络安全就没有国家安全。法律在重点发展领域明确界限的同时，也要给予合理的试错时间和空间，给予更多的人性化的指引。第二，人工和智能的关系。一方面，在大模型的构建中，需要把人的正能量精神、高质量需求和理性的分析能力渗透融入其中，从而使大数据模型真正成为理性的模型。另一方面，通过大数据模型、人工智能发展，推动和促进人类的发展，促进智能时代的人类更具有创新能力、规则意识和协作精神。法律需要统筹二者的关系。第三，将来和未来的关系。对于可预见、可希望的内容，需要法律提出规范性意见、指引意见。同时，人工智能是研究当代的问题，更是研究跨代的问题，因为人工智能接近人类的空间和可能变得越来越大，法律层面需要提供更多的回应与指引。

（声明：本内容仅代表嘉宾观点，不代表本刊立场）