LLM2D
在线联邦学习:混合专用代理的黑盒编码
Online Federation For Mixtures of Proprietary Agents with Black-Box Encoders
作者: Xuwei Yang, Fatemeh Tavakoli, David B. Emerson, Anastasis Kratsios
发布日期: 5/2/2025
arXiv ID: oai:arXiv.org:2505.00216v1

摘要

arXiv:2505.00216v1 Announce Type: cross 摘要:大多数工业标准生成人工智能和特征编码器是专有的,仅提供黑盒访问:其输出是可观察的,但其内部参数和架构对最终用户仍然保密。特别是,在构建专家混合类型集合模型时,用户无法优化每个专有AI的内部参数,这种黑盒访问限制很大。我们的问题自然地适用于非竞争性的博弈论视角,在这种视角中,每个专有AI(代理)本质上是与其他AI代理竞争的,这种竞争源于它们对其他AI代理内部结构的无知。相反,用户作为中央计划者,试图同步竞争的AI代理群体。 我们在线设置下证明了存在唯一的纳什均衡,甚至通过任何给定时间序列与其每个(专有)AI代理生成的序列之间的反馈机制,计算出该纳什均衡的具体形式。我们的解决方案通过去中心化、联邦学习算法实施,其中每个代理在其机器上本地优化其结构,而从不向其他代理释放任何内部结构。我们对预训练模型(如变压器、随机特征模型和回声状态网络)得到了改进的表达式。我们的“专有联邦学习”算法在一系列真实世界和合成时间序列基准上实现。与很少探索的自然基准相比,它在预测准确性上取得了数量级的提升。