随着大型语言模型 (LLM) 在字符串信息灵活处理方面的兴起，其在回归中的应用，特别是将字符串表示预处理成 LLM 嵌入作为度量预测的下游特征，变得自然而然。本文首次对基于嵌入的回归进行了全面研究，并证明了在高维回归任务中，将 LLM 嵌入用作特征比使用传统的特征工程方法更好。这种回归性能的提升部分可以解释为：LLM 对数值数据的嵌入在特征空间中固有地保持了 Lipschitz 连续性。此外，我们还量化了不同模型效应的贡献，最显著的是模型大小和语言理解能力，我们惊讶地发现它们并不总是能提高回归性能。