arXiv:2501.19398v1 宣布类型：新 摘要：基于大型语言模型（LLM）的智能体在包含非合作方的环境中变得常见。在这种环境中，智能体的决策需要隐藏信息给对手，揭示信息给合作者，并推断信息以识别其他智能体的特性。为了调查LLM是否具有这些信息控制和决策能力，我们让LLM智能体玩基于语言的隐藏身份游戏《变色龙》。在游戏中，一组不认识彼此的非变色龙智能体试图识别变色龙智能体而不透露秘密。这个游戏要求变色龙和非变色龙智能体都需要具备上述信息控制能力。实验结果表明，尽管非变色龙LLM智能体能够识别变色龙智能体，但他们无法有效隐藏秘密，其胜率远远低于简单策略的胜率。为了正式解释这种行为，我们对从隐藏到揭示一系列策略进行了理论分析，并提供了非变色龙胜率的界限。基于实验结果和不同策略的理论分析，我们得出结论，基于LLM的非变色龙智能体向未知身份的智能体透露了过多的信息。我们的结果指出了当前LLM，包括GPT-4、GPT-4o、Gemini 1.5和Claude 3.5 Sonnet，在战略性互动中的一个弱点。