LLM2D
医疗AI代理新兴的网络安全风险
Emerging Cyber Attack Risks of Medical AI Agents
作者: Jianing Qiu, Lin Li, Jiankai Sun, Hao Wei, Zhe Xu, Kyle Lam, Wu Yuan
发布日期: 4/8/2025
arXiv ID: oai:arXiv.org:2504.03759v1

摘要

arXiv:2504.03759v1 声明类型:交叉 摘要:以大型语言模型(LLMs)为基础的AI代理在应对医疗和卫生挑战方面表现出高度的自主性。凭借访问各种工具的能力,它们可以在无限的动作空间内运作。然而,随着自主性和能力的增加,也带来了意想不到的风险。在本文中,我们调查了一种特定的风险,即医疗AI代理的网络安全攻击风险,因为代理可以通过网页浏览工具访问互联网。我们发现,通过嵌入在网页中的对抗性提示,网络攻击者可以:i) 向代理的回应中注入虚假信息;ii) 强迫代理操纵推荐(例如,医疗产品和服务);iii) 攻击者还可以窃取用户与代理之间的历史对话,导致敏感/私密医疗信息的泄露;iv) 进一步来说,受目标攻击的代理在回应中返回恶意URL,还可能导致计算机系统的劫持。不同基础的LLMs进行了检验,我们发现,大多数主流LLMs驱动的代理都可能遭受这些网络攻击,其中基于DeepSeek-R1的推理模型最为脆弱。