摘要
大型语言模型 (LLM) 在通用任务中表现出色,但在特定领域面临挑战,例如专业术语和本地法规。现有的金融 LLM,如 FinGPT 和 BloombergGPT,缺乏对泰国金融领域的支持。我们利用泰国证券交易所的投资顾问 (IC) 考试数据集开发了一个泰国金融 LLM。为了解决数据集的局限性,我们应用了数据增强、高效训练的 ReLoRA、领域知识的持续预训练 (CPT) 以及用于微调的秩稳定 LoRA (rsLoRA)。监督微调 (SFT) 模拟了考试场景,而直接偏好优化 (DPO) 使用反馈对模型进行了改进。该模型在 IC 考试 P1、P2 和 P3 级别的得分分别为 72%、72% 和 84%,证明了其在泰国金融咨询任务中的有效性及其在专业应用中的潜力。