LLM2D
LecEval:多模态知识获取的自动化评估指标
LecEval: An Automated Metric for Multimodal Knowledge Acquisition in Multimedia Learning
作者: Joy Lim Jia Yin, Daniel Zhang-Li, Jifan Yu, Haoxuan Li, Shangqing Tu, Yuanchun Wang, Zhiyuan Liu, Huiqin Liu, Lei Hou, Juanzi Li, Bin Xu
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2505.02078v1

摘要

arXiv:2505.02078v1 声明类型:交叉 摘要:评估基于幻灯片的多媒体教学的质量具有挑战性。现有的方法,如人工评估、基于参考的度量标准和大型语言模型评估器,在可扩展性、上下文捕捉或偏差方面存在局限性。在本文中,我们引入了LecEval,这是一种基于梅耶的认知多媒体学习理论的自动化度量标准,用于评估基于幻灯片的学习中的多模态知识获取。LecEval 使用四个评量标准来评估有效性:内容相关性 (CR)、表达清晰度 (EC)、逻辑结构 (LS) 和观众参与度 (AE)。我们精编了一个包含超过 2,000 张来自超过 50 门在线课程视频的大规模数据集,并在其上进行了细微的人工注释。基于此数据集训练的模型在准确性和适应性方面均优于现有度量标准,填补了自动化评估与人工评估之间的差距。我们在 https://github.com/JoylimJY/LecEval 上发布了我们的数据集和工具包。