LLM2D
PlotGen: 基于多模态反馈的多agent大型语言模型科学数据可视化
PlotGen: Multi-Agent LLM-based Scientific Data Visualization via Multimodal Feedback
作者: Kanika Goswami, Puneet Mathur, Ryan Rossi, Franck Dernoncourt
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.00988v1

摘要

arXiv:2502.00988v1 类型: cross 摘要:科学数据可视化对于将原始数据转换为可理解的视觉表示至关重要,有助于模式识别、预测和数据驱动洞察的呈现。然而,新手用户由于选择合适工具和掌握可视化技术的复杂性而时常遇到困难。大型语言模型(LLMs)最近展示了在辅助代码生成方面的潜力,但它们在准确性方面存在困难,并需要迭代调试。本文中,我们提出了一种名为PlotGen的新颖多智能体框架,旨在自动化精确科学可视化创建。PlotGen 组织了多个基于LLM的智能体,包括一个查询规划智能体,它将复杂的用户请求分解为可执行步骤;一个代码生成智能体,将伪代码转换为可执行的Python代码;以及三个检索反馈智能体——一个数值反馈智能体、一个词法反馈智能体和一个视觉反馈智能体,这些智能体利用多模态LLM通过自我反思逐步细化生成图表的数据准确性、文本标签和视觉正确性。广泛的实验表明,PlotGen 出色地超越了强大的基准模型,在MatPlotBench数据集上实现了4-6%的性能提升,从而增强了用户对LLM生成可视化结果的信任,并通过减少用于图表错误的调试时间提高了新手用户的生产力。