LLM2D
InfiR:打造有效的小型语言模型和推理中的多模态小型语言模型
InfiR : Crafting Effective Small Language Models and Multimodal Small Language Models in Reasoning
作者: Congkai Xie, Shuo Cai, Wenjun Wang, Pengxiang Li, Zhijie Sang, Kejing Yang, Yiming Zhang, Zhen Li, Guanghao Zhu, Zeyu Liu, Yang Yu, Yuhang Liu, Su Lu, Baoyi He, Qi Zhou, Xiaotian Han, Jianbo Yuan, Shengyu Zhang, Fei Wu, Hongxia Yang
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.11573v1

摘要

arXiv:2502.11573v1 Announce Type: cross 摘要:大语言模型(LLMs)和多模态大语言模型(MLLMs)在推理能力方面取得了显著进展。然而,它们仍然面临着如高计算需求和隐私问题等挑战。本文专注于开发高效的少量语言模型(SLMs)和多模态少量语言模型(MSLMs),以保留竞争性的推理能力。我们介绍了一种新颖的训练管道,该管道增强了推理能力,并更便于在边缘设备上部署,从而在降低开发成本的同时实现最佳性能。InfR~旨在通过改进推理、降低采用障碍和通过较小的模型尺寸解决隐私问题,来推动AI系统的发展。资源可在https://github.com/Reallm-Labs/InfiR获取。