摘要
arXiv:2503.16434v2 通告类型: replace-cross
摘要:人类长期以来依赖于草图和图表等视觉辅助工具来支持推理和问题解决。诸如几何学中的辅助线或微积分中的图表等视觉工具对于理解复杂概念至关重要。然而,许多辅导系统仍然基于文本,仅通过自然语言提供反馈。利用大型多模态模型(LMM)的最新进展,本文介绍了交互式绘图板,这是一种将基于语言的解释与交互式可视化相结合以增强学习效果的辅导系统。基于预训练的LMM,交互式绘图板微调以提供文本和视觉的逐步指导,使学生能够进行自然的多模态交互。通过将代码执行纳入推理过程,生成准确且稳健的图表。在几何学、微积分和三角学等数学问题上的用户研究显示,交互式绘图板可以提高任务理解能力、解决问题的准确性以及参与度,突显了其有望革新教育技术的潜力。所有代码可在以下链接找到:https://stevenshinechen.github.io/interactivesketchpad/。