arXiv:2504.15610v1 宣布类型: 新增 摘要: 本研究描述了一种经济高效的方法，用于根据学习交流背景对大型语言模型（LLMs）进行适应，并将其应用于低资源的跨文化适应方法中。通过使用 Mistral-7B-Instruct 模型并结合低秩适应（LoRA）方法和 4 位量化方法，该模型在两项与本研究目的相关的训练阶段中进行了训练，旨在增强领域特异性同时保持计算效率。在第一阶段，模型通过 Gemini Pro API 与合成数据集进行预处理；在第二阶段，模型使用 StudyAbroadGPT 项目中手工整理的数据集进行训练，以实现更具上下文含义的响应。技术创新包括高效量化、参数有效适应和通过 Weights & Biases 进行持续的训练分析。经过训练后，本研究展示了训练损失减少 52.7%，特定领域的推荐准确率达到 92%，支持 95% 的 markdown 格式化，以及在标准 GPU 设备上每秒运行 100 个样本的中位运行率。这些发现支持在教育顾问中有效应用指令调整的 LLM，尤其是在低资源机构情景中。局限性包括一般化能力的降低和使用合成生成的数据集，但该框架可扩展以添加新的多语言增强和实时学术咨询过程。未来方向可能包括集成检索增强生成、应用动态量化流程以及连接到实时的学术数据库，以提高适应性和准确性。