arXiv:2502.05407v1 类别: cross 摘要: 深度网络的成功主要归因于它们在表示空间内捕捉潜在特征的能力。在这项工作中，我们探讨了是否可以通过代理（如大型语言模型（LLM））的形式进行反馈，例如相对的 \textit{三元组比较}，来高效地检索模型中学习到的特征。这些特征可能代表各种构建块，包括大型语言模型中的词典或马氏距离协方差矩阵的组成部分。我们分析了在稀疏环境中学习特征矩阵的反馈复杂性。我们的结果显示，在代理可以构建激活的情况下，存在紧密的边界；当代理的反馈仅限于分布信息时，结果显示了稀疏场景下的强大边界。我们通过两个不同的应用领域的实验验证了我们的理论发现：从递归特征机训练的模型中恢复特征以及从大规模语言模型中训练的稀疏自编码器中提取词典。