arXiv:2504.15266v1 宣布类型: cross 摘要: 我们设计了一套最小的算法任务，对开放世界的任务进行了宽松的抽象。这使我们能够干净且可控地量化当前语言模型在创意方面的极限。就像现实生活中的任务需要富有创意的、前瞻性的思考飞跃一样，我们的任务也需要一个隐式的、开放的随机计划步骤，它可以（a）在抽象的知识图谱中发现新的连接（如同义词游戏、类比研究或研究），或者（b）构建新的模式（如同设计数学问题或新型蛋白质）。在这些任务中，我们从实证和概念层面论证了下一步学习是短视的，过度依赖记忆；相比之下，多步方法，即无教师训练和扩散模型，在产生多样化和原创输出方面表现出色。其次，在我们的任务中，我们发现为了避免损害连贯性，从Transformer中注入噪声（通过我们称之为哈希条件的方法）比在输出层进行温度抽样更好。因此，我们的工作提供了一个有原则的、最小的分析平台，用于分析开放式的创造性技能，并为超越下一步学习和softmax基采样提出了新的论据。我们部分代码可以在 https://github.com/chenwu98/algorithmic-creativity 中获得。