王芳 魏中瀚 连芷萱

1 引言

随着数字政府建设的深化，越来越多的行政部门开始采用人工智能（AI）技术改善公共服务[1-3]。截至2022年3月底，全国各省级政府门户网站或隶属的政务网站均已依托AI技术设置自动问答系统[4-5]（港澳台除外，下同）。初步调研发现，各省级政府网站的智能问答系统表现参差不齐，超过半数的客服无法有效答复随机测试问题，延长了用户等待时间。根据行政负担理论，采用智能问答技术的目的是提高行政效率，降低公众承受的行政负担，但是“数字政府并不必然会降低行政负担，甚至在某些情况下还会加重一些群体的行政负担”[6]。政务问答系统语义理解能力的不足，影响了问答服务的智能化水平，在一定程度上给用户带来新的行政负担。为了提高行政效率，有必要对政务智能问答系统展开评价研究，了解其存在的问题，并提出应对策略。

目前，一些研究在政府问答系统测评方面进行了探索。其中，大部分研究以答案的准确率[7]、召回率、重复率等指标来衡量系统性能，有助于提高预设答案与问题的匹配能力，但是并不能引导提高系统理解用户需求的能力。如果知识库中的预设答案与问题应用场景的契合程度较低，即使是高精度的问答匹配能力也无法满足用户的主观需求。另外，现有研究提出的准确率、答案定性分类等指标虽然能够在一定程度上反映政务问答系统的语义理解能力，但是尚未形成系统性的评价指标体系与测评题目。……