LLM2D
使用大语言模型进行DRAFT-ing架构设计决策
DRAFT-ing Architectural Design Decisions using LLMs
作者: Rudra Dhar, Adyansh Kakran, Amey Karan, Karthik Vaidhyanathan, Vasudeva Varma
发布日期: 4/14/2025
arXiv ID: oai:arXiv.org:2504.08207v1

摘要

arXiv:2504.08207v1 宣布类型: cross 摘要: 建筑知识管理(AKM)对于软件开发至关重要,但由于缺乏标准化和高人工努力,仍具挑战性。架构决策记录(ADRs)提供了一种结构化的方法来捕捉架构设计决策(ADDs),但其采用受限,因为涉及大量的手动操作且工具支持不足。我们之前的工作显示,大型语言模型(LLMs)可以协助生成ADDs。然而,简单地提示LLM并不能产生高质量的ADDs。此外,使用第三方LLM会引发隐私问题,而自我托管它们则会带来资源挑战。 为此,我们尝试了不同方法,如少样本、检索增强生成(RAG)和微调,以增强LLM生成ADDs的能力。我们的结果表明,这两种技术都提高了效果。在此基础上,我们提出了领域特定检索增强少样本微调(DRAFT),该方法结合了这三种方法的优点,以实现更有效的ADD生成。DRAFT分为两个阶段:离线阶段用于基于检索到的示例对LLM进行微调生成ADDs,并在线阶段利用检索到的ADRs和微调模型生成ADDs。 我们在一个包含4,911个ADRs的数据集和各种LLM上对DRAFT与其他现有方法进行了评估,并使用自动化指标和人类评估进行了分析。结果表明,DRAFT在效果上优于所有其他方法,同时保持了效率。我们的研究结果表明,DRAFT可以帮助架构师起草ADDs,同时解决隐私和资源约束问题。