中图分类号：TP391.4；TP181 文献标识码：A 文章编号：2096-4706（2025）12-0079-06

Automatic Correction of Multimodal Experimental Reports Driven by LLM

XU Jining， HUANG Nan， SONG Hao （SchoolofElectricalandControlEngineering，North China UniversityofTechnology，Beijing10o144，China）

Abstract：Automatic correction of experimental reports isan important task in the field of intellgent education. FollowingteOBEconcept，tepaperreproduces thteacher'sorrctionideatransfoms tesoingitesitoquestons，and coordinates temultimodalresposeiformatiosuchastext，tables，ndpictures tosoresostoblosetoteactuateaching and curiculum construction needs.Intheunderstanding and scoring stageof multimodal information，on the basisof Deep Learming，LLMisitroduced torealizethecontentextractionandtransformationoftablequestions，andsolvethdifculties of positioningandlogicaldiscrimination.Fortextcontent，BERTisusedtounderstand.Fortheimagecontent，theself-training modelconstructed by thecombination ofBERTand ResNet-18 isused to scale the image matching weightsforthe image featureevaluationingraphicquestions.Theschemeusessmallsampledata fortraining，adapts todiferent subject experiments， andovercomes the pain points such as insuffcient generalization and migration caused byrelying onalarge amount of data training.Through the correction test of two courses，the average accuracy of the report score reaches 92.20% ，bridging the gap of automatic correction of non-customized experimental reports.

Keywords： automatic correction of experimental report; Deep Learning; LLM

0 引言

随着人工智能技术融入教育，各类作业考试的自动评分系统使教师的工作变得更加高效。实验报告作为实践能力培养的重要教学载体，采用人工智能自动批改不仅可以提高效率，大幅度减少教师的批改时间，消除教师个人因素导致的评分偏差，提升评分公平性；而且AI批改系统通过算法和大量数据训练，能够准确识别学生的作答过程和具体错因，提供更加客观的评分和个性化的即时反馈。通过收集数据，它还能够为教师和管理者提供可靠的学情分析报告，帮助优化教学内容和方法，为学生提供更加富有成效的指导。

当前，编程练习的自动批改、在线作业批改、AES自动论文评分、虚拟实验教学等应用场景的智能批改准确性和有效性越来越得到用户的认可。然而，其他理工科实验报告的批改因其教学方式和内容的特点，需要处理复杂问题、图表或非标准化答案，仍存在很多困难。例如，目前自动批改大多只能胜任单点、单一模态评分，很难基于实验报告的多种模态信息进行综合评价。

以ChatGPT为代表的大语言模型横空出世，其强大的文本理解和生成能力改变教育教学的面貌[。本文尝试将大语言模型 （LargeLanguageModel，LLM）引入实验报告自动批改过程，同时采用ResNet18深度神经网络预训练模型处理图像输入，提取图片特征，并用BERT自然语言表示模型理解文本内容。将实验教学预设目标转化成大语言模型的提问任务，基于问题对实验报告全文进行汇总分析，得到分析文本和参考评分。……