arXiv:2412.13422v2 通告类型: 重写 摘要: 归纳推理——从少量观察中推断出普遍规则的过程——是人类智能的基本方面。近期研究表明，大型语言模型（LLMs）可以通过生成多个关于规则的假设并选择最能解释观察结果的那个来进行归纳推理。然而，由于多元独立同分布（IID）采样，经常生成语义上冗余的假设，导致计算资源浪费严重。在本文中，我们 1) 证明增加温度以增强多样性受到文本退化问题的限制，并且 2) 提出一种新颖的方法来提高多样性同时保持文本质量。我们首先分析了增加温度参数，即LLM的多样性控制参数，对IID假设的影响。我们的分析表明，随着温度的升高，假设的多样性和准确性会增加，但这种趋势由于文本退化而饱和。为了生成更多语义多样性和质量更高的假设，我们提出了一种受人类归纳推理启发的新方法，称为概念混合（MoC）。当应用于几个归纳推理基准时，MoC 在性能上显著优于标准的 IID 采样方法和其他方法。