LLM2D
LLM-KT:通过插件式指令对大型语言模型与知识追踪进行对齐
LLM-KT: Aligning Large Language Models with Knowledge Tracing using a Plug-and-Play Instruction
作者: Ziwei Wang, Jie Zhou, Qin Chen, Min Zhang, Bo Jiang, Aimin Zhou, Qinchun Bai, Liang He
发布日期: 2/6/2025
arXiv ID: oai:arXiv.org:2502.02945v1

摘要

arXiv:2502.02945v1 交叉类型 摘要:知识追踪(KT)问题是个性化教育中的一个极其重要的课题,其目标是根据学生过去的问题回答记录预测学生能否正确回答下一个问题。此前在这项任务上的研究主要集中在通过问题ID或文本信息学习行为序列。然而,这些研究通常未能捕捉到学生的行为模式,特别是在利用关于问题的丰富世界知识进行推理时没有捕捉到足够的行为模式。在本文中,我们提出了一种基于大型语言模型(LLMs)的知识追踪框架,命名为 \texttt{\textbf{LLM-KT}},以结合LLMs和传统序列交互模型的优势。在任务层次上的对齐方面,我们设计了插件即用指令,利用LLMs丰富的知识和强大的推理能力将LLMs与知识追踪对齐。在模态层次上的对齐方面,我们设计了插件上下文和序列,以集成传统方法学习的多种模态。为了捕捉历史记录的长上下文,我们提出了一种插件上下文,利用问题特定和概念特定的标记将压缩的上下文嵌入灵活地插入到LLMs中。此外,我们引入了一种插件序列,利用传统序列模型学习的序列交互行为表示增强LLMs。广泛的实验表明,在与约20个强大基准相比较的情况下,\texttt{\textbf{LLM-KT}} 在四个典型的数据集上取得了最先进的性能。