生成式人工智能（AI）模型可能对社会产生变革，其程度要求在机遇和风险之间取得微妙的平衡。本文档是 IEEE-SA 的 p3995：“人工智能（AI）模型安全措施、控制和预防技术实施标准”系列白皮书的第一篇，主席：Marina Cortès（https://standards.ieee.org/ieee/3395/11378/）。在这篇首个展望未来文章中，我们确定了 AI 标准活动的关键关注领域。我们考察了监管工作的不同原则，并回顾了问责制、隐私、数据权利和滥用等概念。作为一项安全措施标准，我们高度重视全球基础设施的稳定性，并考虑了由紧密耦合的 AI 组件可能导致的对云计算的过度依赖。我们回顾了 2024 年 7 月的 Crowdstrike 事件，该事件类似于级联故障，作为 AI 诱发的事件在（不久的）将来对关键基础设施产生潜在影响的例证。这是一系列文章中的第一篇，旨在作为白皮书向读者介绍标准制定。即将发布的文章将重点关注监管举措、技术发展以及 AI 在特定领域中的作用。
主题建模是一种强大的技术，可以无需先验知识地发现文档集合中隐藏的主题和模式。传统的主题建模和基于聚类的技术在捕获上下文语义信息方面面临挑战。本研究介绍了一种创新的端到端语义驱动主题建模技术，用于主题提取过程，利用先进的词语和文档嵌入，并结合强大的聚类算法。这种语义驱动方法代表了主题建模方法的重大进步。它利用上下文语义信息来提取连贯且有意义的主题。具体来说，我们的模型使用预训练的基于 Transformer 的语言模型生成文档嵌入，降低嵌入的维度，根据语义相似性对嵌入进行聚类，并为每个聚类生成连贯的主题。与 ChatGPT 和传统的主题建模算法相比，我们的模型提供了更连贯和更有意义的主题。
近年来，生成模型的进展在图像生成和聊天机器人等许多领域带来了显著的创新。尽管取得了成功，但这些模型在处理复杂的、多智能体决策问题时，往往会产生粗略且误导性的解决方案，因为它们缺乏人类的试错经验和推理能力。为了解决这一局限性，我们探索了一种将语言引导模拟器整合到多智能体强化学习管道中的范式，以增强生成答案。模拟器是一个世界模型，它分别学习动力学和奖励，其中动力学模型包含一个图像标记器和一个因果变换器，以自回归方式生成交互转换，而奖励模型是一个双向变换器，通过在语言引导下最大化专家演示中轨迹的可能性来学习。给定当前状态的图像和任务描述，我们使用世界模型来训练联合策略，并通过在动力学模型上运行收敛的策略来生成图像序列作为答案。实证结果表明，该框架可以通过在星际争霸多智能体挑战基准的训练和未见任务中表现出优异的性能，来改进多智能体决策问题的答案。特别是，它可以在交互状态下生成一致的交互序列和可解释的奖励函数，为未来训练生成模型开辟了道路。
尽管多模态基础模型现在可以原生处理文本之外的数据，但在分析医疗保健、金融和社会科学等领域中大量多维时间序列数据方面，它们仍然未得到充分利用，这错失了获得更丰富、数据驱动的见解的机会。本文提出了一种简单但有效的方法，利用这些模型现有的视觉编码器通过图表“查看”时间序列数据，从而避免了额外（可能很昂贵）的模型训练需求。我们的实证评估表明，这种方法优于将原始时间序列数据作为文本提供，并且视觉时间序列表示在模型 API 成本方面最多可降低 90%。我们通过复杂度不断提高的合成数据任务验证了我们的假设，从清洁数据上的简单函数形式识别，到从噪声散点图中提取趋势。为了证明从具有明确推理步骤的合成任务到更复杂、现实世界场景的泛化能力，我们将我们的方法应用于消费者健康任务——特别是跌倒检测、活动识别和准备评估——这些任务涉及异构的、噪声数据和多步推理。总体而言，在 GPT 和 Gemini 模型系列中，绘图性能优于文本性能（在零样本合成任务中性能提高最多 120%，在现实世界任务中性能提高最多 150%），突出了我们的方法在充分利用基础模型的原生能力方面的潜力。
预测性业务流程分析已成为组织的重要工具，为其流程提供实时运营支持。然而，这些算法往往会做出不公平的预测，因为它们基于存在偏见的变量（例如性别或国籍），即体现歧视的变量。本文旨在解决将去偏置阶段整合到预测性业务流程分析中的挑战，以确保预测不受偏见变量的影响。我们的框架利用对抗性去偏置技术，并在四个案例研究中进行了评估，结果表明偏见变量对预测值的贡献显著降低。所提出的技术还与流程挖掘领域公平性的最新技术进行了比较，结果表明我们的框架能够实现更高水平的公平性，同时保持更好的预测质量。
我们通过研究基于规则的系统复杂性如何影响训练模型预测这些规则的能力，探索了人工智能系统中智能行为的涌现。我们的研究重点是基本元胞自动机（ECA），这是一种简单而强大的单维系统，可以生成从微不足道到高度复杂的各种行为。通过在不同的 ECA 上训练不同的大型语言模型 (LLM)，我们评估了规则行为的复杂性与 LLM 所表现出的智能之间的关系，这体现在它们在后续任务中的表现上。我们的发现表明，规则的复杂性越高，模型表现出的智能就越高，这体现在它们在推理和象棋走棋预测任务中的表现上。均匀和周期性系统，以及通常高度混沌的系统，都导致了较差的后续性能，突出了有利于智能的复杂性最佳点。我们推测，智能源于预测复杂性的能力，而创造智能可能只需要接触复杂性。
图可达性是指理解图中两个不同点是否通过弧线连接，弧线通常带有语义信息。可达性在运动规划、路由等领域有着广泛的应用。为了避免传统深度优先和广度优先策略的复杂性（通常在逻辑语言中实现），提高可达性需要对关系进行结构化知识的了解。在某些情况下，图会通过其模式定义进行丰富，为每条弧线建立域和范围。引入模式感知的正式化来指导搜索，可以通过剔除无用路径并优先考虑原则上更早到达目标的路径，从而实现显著的改进。在本研究中，我们提出了一种策略，通过利用实例的高级概念化来自动排除和排序某些图路径。目标是获得图可达性场景的新的一阶逻辑重构，能够在时间、空间需求和回溯次数方面改进传统算法。实验结果表明，该方法在减少搜索策略中的回溯次数方面具有预期优势，从而节省了时间和空间。
在强化学习中，由于状态-动作空间的扩展性，高效的多智能体探索一直是一个长期存在的挑战。尽管追求新颖性、多样性或不确定性越来越受到关注，但缺乏适当指导选择的探索所带来的重复努力对该领域来说是一个实际问题。本文介绍了一种名为 LEMAE 的系统方法，该方法选择从一个知识渊博的大型语言模型 (LLM) 中获取信息丰富的任务相关指导，以实现高效的多智能体探索。具体来说，我们将 LLM 的语言知识以判别的方式嵌入到符号关键状态中，这些关键状态对于任务完成至关重要，并且 LLM 推理成本很低。为了发挥关键状态的作用，我们设计了基于子空间的后见式内在奖励 (SHIR)，通过增加奖励密度来引导智能体朝向关键状态。此外，我们构建了关键状态记忆树 (KSMT)，以跟踪特定任务中关键状态之间的转换，以实现有组织的探索。得益于减少了重复探索，LEMAE 在具有挑战性的基准测试（例如 SMAC 和 MPE）上明显优于现有的最先进方法，在某些情况下实现了 10 倍的加速。
大型语言模型 (LLMs) 可能难以完全理解法律理论并执行复杂的法律推理任务。本研究提出了一项具有挑战性的任务（混淆指控预测），以更好地评估 LLMs 对法律理论的理解和推理能力。我们还提出了一种新颖的框架：用于提高复杂法律推理能力的多智能体框架 (MALR)。MALR 采用非参数学习，鼓励 LLMs 自动分解复杂的法律任务并模仿人类学习过程以从法律规则中提取见解，帮助 LLMs 更好地理解法律理论并增强其法律推理能力。在多个真实世界数据集上的大量实验表明，所提出的框架有效地解决了实际场景中复杂的推理问题，为法律领域更可靠的应用铺平了道路。
价值对齐旨在确保大型语言模型 (LLM) 和其他 AI 代理的行为符合人类价值观，对于确保这些系统的安全性和可信赖性至关重要。价值对齐的关键组成部分是将人类偏好建模为人类价值观的体现。在本文中，我们通过检查偏好模型的敏感性来研究价值对齐的稳健性。具体来说，我们提出以下问题：一些偏好概率的变化如何影响这些模型对其他偏好的预测？为了回答这个问题，我们通过检查广泛使用的偏好模型对模型偏好微小变化的敏感性，从理论上分析了它们的稳健性。我们的研究结果表明，在 Bradley-Terry 和 Placket-Luce 模型中，偏好概率会随着其他偏好的变化而发生显著变化，尤其是在这些偏好占主导地位时（即概率接近 0 或 1）。我们确定了这些模型中敏感性变得显著的具体条件，并讨论了这对 AI 系统中价值对齐的稳健性和安全性的实际意义。