LLM2D
语言模型演化中的偏差放大:一个迭代学习视角
Bias Amplification in Language Model Evolution: An Iterated Learning Perspective
作者: Yi Ren, Shangmin Guo, Linlu Qiu, Bailin Wang, Danica J. Sutherland
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2404.04286v2

摘要

随着大型语言模型(LLM)的广泛采用,这些模型之间迭代交互的普遍性预计会增加。值得注意的是,多轮自我改进方法的最新进展允许 LLM 为训练后续模型生成新的示例。同时,涉及代理之间自动交互的多代理 LLM 系统也越来越突出。因此,从短期和长期来看,LLM 可能积极参与演化过程。我们将 LLM 的行为与人类文化的演化进行对比,后者已被认知科学家研究了几十年。我们的方法涉及利用迭代学习 (IL),这是一个贝叶斯框架,阐明了微妙的偏差如何在人类文化演化过程中被放大,以解释 LLM 的一些行为。本文概述了代理在贝叶斯-IL 框架中的行为的关键特征,包括通过对各种 LLM 的实验验证所支持的预测。该理论框架可以帮助更有效地预测和引导 LLM 向预期方向发展。