LLM2D
THaLLE 在泰国金融领域的适应性研究——技术报告
Thai Financial Domain Adaptation of THaLLE -- Technical Report
作者: KBTG Labs, Atthakorn Petchsod, Pornchanan Balee, Danupat Khamnuansin, Anuruth Lertpiya, Chanatip Saetia, Tawunrat Chalothorn, Thadpong Pongthawornkamol, Monchai Lertsutthiwong
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2411.18242v1

摘要

大型语言模型 (LLM) 在通用任务中表现出色,但在特定领域面临挑战,例如专业术语和本地法规。现有的金融 LLM,如 FinGPT 和 BloombergGPT,缺乏对泰国金融领域的支持。我们利用泰国证券交易所的投资顾问 (IC) 考试数据集开发了一个泰国金融 LLM。为了解决数据集的局限性,我们应用了数据增强、高效训练的 ReLoRA、领域知识的持续预训练 (CPT) 以及用于微调的秩稳定 LoRA (rsLoRA)。监督微调 (SFT) 模拟了考试场景,而直接偏好优化 (DPO) 使用反馈对模型进行了改进。该模型在 IC 考试 P1、P2 和 P3 级别的得分分别为 72%、72% 和 84%,证明了其在泰国金融咨询任务中的有效性及其在专业应用中的潜力。