arXiv:2504.15610v2 宣告类型: 替换 摘要：当前的研究描述了一种经济高效的方法，用于在考虑海外学习背景的同时适应大型语言模型（LLMs），并在低资源方法中应用于文化适应过程中的学业顾问。通过使用Mistral-7B-Instruct模型与低秩适应（LoRA）方法和4比特量化方法相结合，该模型在与本研究目的相关的两个阶段中进行了训练，以增强领域特定性的同时保持计算效率。在第一阶段中，模型通过Gemini Pro API 进行了与合成数据集的条件训练，在第二阶段中，通过StudyAbroadGPT项目中人工精选的数据集进行了训练，实现了更加具体和上下文相关的响应。技术革新包括高效的内存量化、参数高效的适应以及通过Weights & Biases进行连续训练分析。经过训练后，本研究显示了训练损失减少了52.7%，领域特定推荐达到了92%的准确率，支持了95%的基于Markdown的格式化，以及在标准的GPU设备上每秒运行100个样本的中位数速度。这些发现支持了指令调整后的LLMs在教育顾问中的有效应用，特别是在低资源机构场景中的应用。局限性包括降低了通用性，并且应用了合成生成的数据集，但该框架适用于添加新的多语言增强和实时学术咨询服务。未来的研究方向可能包括集成检索增强生成、应用动态量化程序以及连接到实时学术数据库以提高适应性和准确性。