arXiv:2503.17365v2 安全公告类型: replace-cross
摘要: 近期事件突显了大型语言模型（LLMs）的安全风险，促使人们研究如宪法AI（CAI）之类的对齐方法。本文探讨了CAI在其自批判机制在小规模、未受限的7-9B参数模型上的应用，包括DeepSeek-R1-8B、Gemma-2-9B、Llama 3.1-8B和Qwen2.5-7B。我们发现，虽然基于Llama的模型通过自批判显著减少了危害，但在消除偏差后，其他架构在危害检测方面的改进较少。这些结果表明，CAI的有效性可能因模型架构和推理能力的不同而异。
arXiv:2503.17332v3 Announce Type: replace-cross
摘要：大型语言模型（LLM）代理日益具备自主开展网络攻击的能力，对现有应用程序构成了重大威胁。这一日益增长的风险突显了建立一个实际基准评估LLM代理利用网络应用漏洞能力的迫切需求。然而，现有的基准存在不足，因为它们仅限于抽象的“捕获旗帜”竞赛或覆盖面不全。为了应对这一挑战，我们引入了CVE-Bench，这是一个基于关键严重性的Common Vulnerabilities and Exposures（CVE）的实际情况下的网络安全基准。在CVE-Bench中，我们设计了一个沙箱框架，使LLM代理能够在模拟实际情况的情境中利用漏洞的网络应用，同时提供有效的评估其攻击效果的方法。我们的评估表明，最先进的代理框架可以解决多达13%的漏洞。
arXiv:2503.16681v2 宣告类型: replace-cross
摘要：三维智能利用丰富的三维特征，在人工智能领域前景广阔，而三维渲染是许多下游应用的基础。三维正态分散（3DGS）是一种新兴的高质量三维渲染方法，但对其进行实时执行在现有的GPU嵌入式设备上面临着显著的计算需求，目前不可行。之前的3DGS加速努力依赖于需要大量集成开销和硬件成本的专门加速器。本工作提出了一种加速策略，利用3DGS管道与现代GPU高度优化的传统图形管道之间的相似性。我们并未开发专门的加速器，而是增强了现有的GPU光栅化硬件，以高效支持3DGS操作。我们的结果表明，与原始3DGS算法相比，端到端运行时间加快了6倍，与最新改进效率的管道相比加快了4倍，并分别实现了每秒24帧和46帧。这些增强措施相对于整个SoC芯片面积仅增加了0.2%的面积开销，凸显了我们的方法在资源受限平台上实现3DGS渲染的实用性和效率。
arXiv:2503.15530v2 宣告类型：替换交叉
摘要：在创造更加智能机器的竞争中，有一种风险是我们可能会以牺牲人类自主性的方式过度依赖AI。为了降低这种风险，我们可以力求创造那些优先并增强人类在人机交互中作用的工具。本文通过以下三个方面概述了以人类为中心的增强推理范式：1. 阐述增强推理工具的基本原则，强调它们的人机工学性、预结论性、可控性、探索性、增强性和集成性；2. 提出“多任务，多工具”的方法，以确保人类的影响和控制；3. 提供可以作为人类推理与AI算法之间桥梁的交互模式示例。
arXiv:2503.14681v2 宣告类型: replace-cross
摘要：差分隐私（DP）图像合成旨在生成保留敏感图像属性的同时保护数据集中每个图像隐私的人工图像。尽管近期取得了一些进展，但我们发现不同研究中应用了一致性较差——有时甚至是错误的评估协议。这不仅阻碍了对当前方法的理解，也阻碍了未来的发展。
为解决这一问题，本文引入了DPImageBench，从多个维度进行精心设计：（1）方法。我们研究了十一个 prominent 方法，并从模型结构、预训练策略和隐私机制方面系统地对其进行了表征。（2）评估。我们包括了九个数据集和七个保真度和实用度指标，以彻底评估这些方法。值得注意的是，我们发现一种常见做法，即根据敏感测试集上的最高准确度选择下游分类器，不仅违反了 DP，还会高估实用度评分。DPImageBench 对这些错误进行了修正。（3）平台。尽管有各种方法和评估协议，DPImageBench 提供了一个标准化接口，使当前和未来的实现能够在统一框架内适配。借助 DPImageBench，我们取得了一些值得注意的发现。例如，与常识相反，我们发现，预先在公共图像数据集上进行训练通常是有益的这种看法是不正确的。我们发现，预训练数据和敏感图像之间的分布相似性显著影响合成图像的性能，并不一定总是带来改善。此外，相对于添加噪声到高维特征（如权重梯度），添加低维特征（如敏感图像的高层特征）的噪声对隐私预算的敏感度较低。在低隐私预算下，前者方法的性能优于后者。
arXiv:2503.07137v2 宣布类型: 替换-交叉
摘要：人工智能（AI）在许多领域取得了令人瞩目的成功，尤其是在基础大型模型的发展突破方面。这些大型模型凭借其充足的训练数据，为多种下游任务提供了多功能的解决方案。然而，随着现代数据集变得越来越多样和复杂，大型AI模型的开发面临两大主要挑战：（1）巨大的计算资源消耗和部署困难，（2）难以适应异构和复杂数据，这限制了模型的可用性。混合专家（MoE）模型近年来受到了广泛关注，通过动态选择和激活与输入数据最相关的子模型来处理数据。研究表明，MoEs可以在较少资源下显著提高模型性能和效率，特别是在处理大规模、多模态数据方面尤为出色。鉴于MoE在各个领域展现出的巨大潜力，迫切需要对MoE在许多重要领域中的最新进展进行全面总结。现有的MoE综述文章存在局限性，如过时或缺乏对某些关键领域的讨论，我们旨在弥补这些差距。在本文中，我们首先介绍了MoE的基本设计，包括门控函数、专家网络、路由机制、训练策略和系统设计。然后，我们探讨了MoE在连续学习、元学习、多任务学习和增强学习等重要机器学习范式中的算法设计。此外，我们总结了旨在理解MoE的理论研究，并回顾了其在计算机视觉和自然语言处理中的应用。最后，我们讨论了具有前景的未来研究方向。
arXiv:2503.05439v2 宣告类型: replace-cross
摘要: 在本文中，我们探讨了将遵从式语言模型 (CLM) 与回答集编程 (ASP) 结合使用以增强标准开放式大型语言模型 (LLM) 在复杂多步推理任务上的性能。通过使用需要空间推理的 StepGame 数据集，我们将 CLM 应用于从 LLM 生成一组 ASP 程序，并提供了输出正确性的统计保证。实验结果表明，CLM 显著优于使用标准采样方法的基线模型，在不同复杂度层次的推理任务中实现了显著的准确度提升。此外，LLM-作为裁判的度量标准增强了 CLM 的性能，尤其是在评估结构上和逻辑上正确的 ASP 输出方面。然而，使用多样化的校准集对 CLM 进行校准并未提高对需要更长推理步骤的任务的泛化能力，表明其在处理更复杂任务方面存在局限性。
arXiv:2503.04847v2 宣告类型: replace-cross
摘要：生成型人工智能（GenAI）正在通过实现智能内容生成、自动化和决策变革行业。然而，GenAI 应用的有效性在很大程度上取决于高效的数据存储、检索和上下文增强。本文探讨了数据库在 GenAI 工作流中的关键作用，强调了选择合适的数据库架构以优化性能、准确性和可扩展性的重要性。文章将数据库角色分为对话上下文（键值/文档数据库）、情境上下文（关系数据库/数据湖屋）和语义上下文（向量数据库），每种角色在丰富 AI 生成的响应方面发挥着独特的作用。此外，文章还强调了实时查询处理、语义检索的向量搜索以及数据库选择对模型效率和可扩展性的影响。通过采用多数据库方法，GenAI 应用可以实现更具上下文意识、个性化和高性能的 AI 驱动解决方案。
arXiv:2502.20964v2 宣告类型: 替换-交叉
摘要: 视觉问答（VQA）旨在通过利用图像信息来回答自然语言问题。虽然最先进的多模态大型语言模型（MLLMs），如GPT-4o，在VQA任务上表现出色，但在访问领域特定的知识或最新知识方面经常表现不佳。为了解决这一问题，利用外部知识库（KBs）的检索增强生成（RAG），即KB-VQA，作为一种有前途的方法逐渐兴起。然而，传统的单一模态检索技术，将图像转化为文本描述，往往会导致关键视觉细节的损失。本研究提出了细粒度的知识单元，这些单元将文本片段与存储在向量数据库中的实体图片结合起来。此外，我们引入了一种细粒度检索增强生成框架（KU-RAG），将细粒度检索与MLLMs集成。所提出的KU-RAG框架确保了相关知识的精确检索，并通过知识修正链增强了推理能力。实验结果表明，我们的方法显著提升了领先KB-VQA方法的性能，平均提高了约3%，在最佳情况下提高了11%。
arXiv:2502.18791v2 宣告类型: replace-cross
摘要：LLM 研究的激增使得综合它们的研究成果变得颇具挑战。从文献中分析实验结果可以揭示研究间的重要的趋势，但手动数据提取的耗时性质限制了其应用。我们提出了一个半自动的文献分析方法，利用 LLM 加速数据提取过程。该方法自动识别相关的 arXiv 论文，提取实验结果及相关属性，并将其组织成一个结构化的数据集 LLMEvalDB。然后，我们进行了针对前沿 LLM 的自动化文献分析，相比手动方法，减少了超过 93% 的论文调查和数据提取工作量。我们通过验证 LLMEvalDB 来展示这一点：它可以重现最近手动分析 Chain-of-Thought (CoT) 推理的几个关键发现，还发现了超出这些发现的新见解，例如，在上下文中的示例对编程和跨模态任务有益，但在数学推理任务中，与零样本 CoT 相比，提供的增益有限。我们自动更新的数据集允许通过提取新的评价研究结果持续跟踪目标模型。通过 LLMEvalDB 和实证分析，我们提供了关于 LLM 的见解，同时促进了对其行为的持续文献分析。