摘要
生成式人工智能（GenAI）正日益融入我们的日常生活。计算能力和数据可用性的提升导致了单模态和多模态模型的激增。随着 GenAI 生态系统的成熟，对可扩展且模型无关的风险识别框架的需求日益增长。为了满足这一需求，我们引入了 Python 风险识别工具包 (PyRIT)，这是一个开源框架，旨在增强 GenAI 系统中的红队行动。PyRIT 是一种模型和平台无关的工具，使红队人员能够探测和识别多模态生成式 AI 模型中的新型危害、风险和越狱行为。其可组合的架构促进了核心构建块的重复使用，并允许扩展到未来的模型和模态。本文详细介绍了针对生成式 AI 系统红队行动的具体挑战、PyRIT 的开发和功能，以及其在现实世界场景中的实际应用。