摘要
arXiv:2502.11573v1 Announce Type: cross
摘要:大语言模型(LLMs)和多模态大语言模型(MLLMs)在推理能力方面取得了显著进展。然而,它们仍然面临着如高计算需求和隐私问题等挑战。本文专注于开发高效的少量语言模型(SLMs)和多模态少量语言模型(MSLMs),以保留竞争性的推理能力。我们介绍了一种新颖的训练管道,该管道增强了推理能力,并更便于在边缘设备上部署,从而在降低开发成本的同时实现最佳性能。InfR~旨在通过改进推理、降低采用障碍和通过较小的模型尺寸解决隐私问题,来推动AI系统的发展。资源可在https://github.com/Reallm-Labs/InfiR获取。