arXiv:2408.05365v2 公告类型: 替换-交叉 摘要: 使用通用大型语言模型 (LLMs) 生成财务报告面临两大挑战，即复合句的缺乏和幻觉现象。先进的提示工程和检索增强生成 (RAG) 技术在解决这些写作风格差异方面作用有限。本文提出了一种新颖的两阶段微调 (FT) 过程，其中公共领域的财务报告被处理成提示-完成对，并通过简单的 LLM 提示进行增强，从而能够使用最少的指令和表格数据输入生成分节财务报告。所提出的微调过程利用了 LLMs 的自学习能力，允许在第一阶段出现幻觉，并在第二阶段展示修正。我们提出的微调框架使正确问题答案的数量翻倍，并将幻觉现象减少了 50% 以上。此外，两阶段 FT 模型具有更低的困惑度、改进的 ROUGE、TER 和 BLEU 分数，更高的创造力和知识密度，以及更低的不确定性和交叉熵。因此，所提出的框架可以推广到特定领域的微调任务，并在最小化的调优成本下实现。