LLM2D
MindScope:通过多智能体系统探索大型语言模型中的认知偏差
MindScope: Exploring cognitive biases in large language models through Multi-Agent Systems
作者: Zhentao Xie, Jiabao Zhao, Yilei Wang, Jinxin Shi, Yanhong Bai, Xingjiao Wu, Liang He
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2410.04452v1

摘要

检测大型语言模型(LLM)中的认知偏差是一项引人入胜的任务,旨在探究这些模型中现有的认知偏差。目前检测语言模型中认知偏差的方法通常存在检测能力不完整和可检测偏差类型范围有限的问题。为了解决这个问题,我们引入了“MindScope”数据集,该数据集独特地整合了静态和动态元素。静态部分包含跨越 72 种认知偏差类别的 5,170 个开放式问题。动态部分利用基于规则的多代理通信框架来促进多轮对话的生成。该框架灵活且易于适应涉及 LLM 的各种心理学实验。此外,我们引入了一种适用于广泛检测任务的多代理检测方法,该方法整合了检索增强生成 (RAG)、竞争辩论和基于强化学习的决策模块。该方法已证明具有显著的有效性,与 GPT-4 相比,其检测精度提高了 35.10%。代码和附录可在 https://github.com/2279072142/MindScope 获取。