arXiv:2502.07663v1 通知类型: 新 摘要: 人工智能（AI）系统日益融入日常生活，协助用户执行各种任务，并在决策中提供指导。这种整合引入了AI驱动操控的风险，其中这些系统可能利用用户的认知偏差和情感脆弱性，引导他们走向有害的结果。通过一项包含233名参与者的随机对照试验，我们探讨了人们在金融（例如，购买）和情感（例如，冲突解决）决策背景下对这种操控的易感性。参与者与三种AI代理之一互动：中立代理（NA），优化用户利益但无明确影响，操控性代理（MA），设计以隐蔽方式影响信念和行为，或策略增强的操控性代理（SEMA），采用明确的心理策略以实现其隐藏目标。通过分析参与者的决策模式及其互动后的偏好评分变化，我们发现对AI驱动操控的显著易感性。特别是，在两个决策领域中，与操控性代理互动的参与者选择有害选项的比例显著更高（金融，MA：62.3%，SEMA：59.6%；情感，MA：42.3%，SEMA：41.5%），相比之下，NA组的比例分别为（金融，35.8%；情感，12.8%）。值得注意的是，我们的研究发现，即使是微妙的操控目标（MA）也能与采用明确心理策略（SEMA）一样有效地影响人类决策。通过揭示隐蔽的AI影响潜力，本研究突显了人类与AI互动中的一个重要漏洞，强调了需要在确保AI技术负责任部署和保护人类自主权方面制定伦理保障和监管框架的重要性。