LLM2D
从PowerPoint UI草图到基于Web的应用程序:使用知识增强的大语言模型、上下文感知视觉提示和React框架的GIS仪表盘开发模式驱动代码生成
From PowerPoint UI Sketches to Web-Based Applications: Pattern-Driven Code Generation for GIS Dashboard Development Using Knowledge-Augmented LLMs, Context-Aware Visual Prompting, and the React Framework
作者: Haowen Xu, Xiao-Ying Yu
发布日期: 2/14/2025
arXiv ID: oai:arXiv.org:2502.08756v1

摘要

arXiv:2502.08756v1 通知类型: 新 摘要: 开发用于环境研究的地理信息系统(GIS)数据查询和可视化的基于网页的GIS应用程序,通常被称为CyberGIS仪表板,常常需要重复且耗费资源的努力。虽然生成式AI在代码生成方面提供了自动化潜力,但由于在集成领域知识、软件工程原则和UI设计最佳实践方面存在挑战,它在复杂的科学应用程序中遇到了困难。本文介绍了一种知识增强的代码生成框架,该框架从专门的知识库中检索软件工程最佳实践、领域专业知识和先进技术堆栈,以增强生成预训练转换器(GPT)在前端开发中的应用。该框架可以自动从用户在PowerPoint或Adobe Illustrator等工具中定义的用户界面线框草图中创建基于GIS的网页应用程序(例如,仪表板、界面)。实现了一种新颖的上下文感知视觉提示方法(Context-Aware Visual Prompting),该方法用Python编写,从这些线框草图中提取布局和界面特征,以指导代码生成。我们的方法利用大型语言模型(LLMs)通过综合结构化推理、软件工程原则和领域知识来生成前端代码,从而借鉴了思维链(CoT)提示和检索增强生成(RAG)的启发。案例研究展示了该框架生成一个模块化、可维护的基于网页的平台的能力,该平台可托管多个用于可视化环境和能源数据(例如,时间序列、矢量文件、栅格)的仪表板,这些是从用户绘制的线框草图中生成的。通过采用知识驱动的方法,该框架使用诸如Model-View-ViewModel(MVVM)之类的设计模式以及React之类的框架生成可扩展的、符合行业标准的前端代码。这种方法大大减少了设计和编码的繁琐工作,开创了一种自动化和高效的智能城市软件开发方法。