随着 Huggingface 上已有数十万种语言模型，有效地评估和利用这些模型来完成各种下游任务变得越来越重要。许多现有的方法反复学习大型语言模型 (LLM) 的特定于任务的表示，这导致了时间和计算资源的低效率。为了解决这个问题，我们提出了 EmbedLLM，一个旨在学习 LLM 的紧凑向量表示的框架，该框架可以促进涉及许多模型的下游应用，例如模型路由。我们介绍了一种用于学习此类嵌入的编码器-解码器方法，以及一个系统框架来评估其有效性。实证结果表明，EmbedLLM 在模型路由的准确性和延迟方面都优于先前的方法。此外，我们证明了我们的方法可以在不产生额外推理成本的情况下预测模型在多个基准上的性能。广泛的探测实验验证了所学习的嵌入捕获了关键的模型特征，例如模型是否专门用于编码任务，即使没有明确地对它们进行训练。我们开源了我们的数据集、代码和嵌入器，以促进进一步的研究和应用。