arXiv:2411.11672v2 宣告类型: 替换 摘要: 本论文基于过去十年深度学习的爆炸性发展，从AlphaGo到ChatGPT，实证考察了实现人工科学家愿景所需的根本概念：一种能够自主生成原创研究并促进人类知识扩展的机器。这一调查始于Olivaw，一个类似于AlphaGo Zero的代理，它可以从未开始地发现Othello的知识，但无法与他人交流这些知识。这一见解导致了解释性学习(EL)框架的开发，这是一种科学家在尝试向同行解释新现象时面临的挑战的正式化。有效的EL处方使我们能够攻克Zendo，一种流行的纸板游戏，模拟了科学研究的过程。这一成功带来了一个根本的洞察：一个人工科学家必须发展自己的解释其发现的语言，而不是依赖现有的固定解释器。质疑学习解释器的过程，我们开始关注现代多模态模型的内部工作机制。这 culminates 归结为一个简单的想法，即构建类似于CLIP的模型，其中解释和感知被明确地分离：一种成本效益高的方法，仅使用少量多模态数据和不需进一步训练便将两个单模态模型耦合在一起。最后，我们讨论了ChatGPT及其兄弟 еще没有实现的变成人工科学家的方面，并引入了一个关于解释类似Zendo的解释的基准测试——Big-Bench符号解释任务，在这一任务中，LLMs的表现与随机猜测相当，而人类却完全解决了这个问题。