摘要
arXiv:2504.11704v1 Announce Type: 新
摘要:在大型语言模型(LLMs)的开发人员社区中,尚未形成类似于软件库的干净模式,以支持大规模协作。即使在检索增强生成(RAG)这种常见的使用场景中,目前也无法针对不同LLM提供商达成一致的API集来编写RAG应用程序。受编译器固有特征的启发,我们通过引入LLM固有特征库来提出这种概念的一些元素。LLM固有特征被定义为可以通过一个合理稳定且独立于LLM固有特征自身实现方式的API来调用的能力。我们的库中的固有特征作为LoRA适配器在HuggingFace上发布,并在vLLM这种推理平台上通过一个具有清晰结构化输入/输出特征的软件接口实现,同时在两处附有文档和代码。本文描述了每个固有特征的预期使用方法、训练细节以及评估,以及多种固有特征的组合。