摘要
在计算和数据资源有限的情况下,高资源语言模型通常无法满足需求,尤其是在满足马来语的特定需求方面。本文介绍了一种个人智能系统,旨在有效地整合设备端和服务器端模型。该系统将 SLiM-34M 用于设备端处理,针对低内存和低功耗进行了优化,并将 MANYAK-1.3B 用于服务器端任务,从而实现可扩展的高性能语言处理。这些模型在机器翻译、问答和翻译 IndoMMLU 等各种任务中取得了显著成果。值得注意的是,SLiM-34M 在使用预训练标记数量减少 2 倍的情况下,与其他 LLM 相比,在准确性方面取得了显著提高。这项工作挑战了构建有效语言模型需要大规模计算资源的普遍假设,为马来语开发资源高效模型做出了贡献,并在 SLiM-34M 和 MANYAK-1.3B 之间实现了独特的编排。