arXiv:2505.06325v1 类型: cross
摘要：潜在空间表示对于理解和改进机器学习模型的行为至关重要，但它们往往模糊且复杂。理解并探索潜在空间有可能为特定领域提供宝贵的直观认知和专业知识。在本文中，我们提出了一种名为HILL的交互式框架，允许用户通过交互性地重塑潜在空间表示来将人类的直观认知融入模型训练中。通过一种新的方法将这些修改注入模型训练循环中，该方法灵感来源于知识蒸馏，将用户的修改视为教师，以引导模型重塑其内在的潜在表示。这一过程使模型能够更有效地收敛并克服效率问题，同时为用户提供有益的见解。我们通过一项用户研究评估了HILL，要求参与者训练一个最优模型，并密切观察所采用的策略。结果表明，由人类指导的潜在空间修改可以提升模型性能并保持泛化能力，但同时也揭示了纳入用户偏见的风险。我们的工作引入了一种新型的人机交互范式，通过将人类的直观认知注入到模型训练中，并对人类干预对训练策略和潜在偏见的影响进行了深入的探讨。
arXiv:2505.06324v1 宣告类型：交叉
摘要：随着大型语言模型（LLMs）越来越多地应用于基于文档的任务——例如文档摘要、问答和信息提取——用户的需求集中在从提供的文档中检索信息，而不是依赖模型的参数知识，因此确保这些系统的可靠性和可解释性已成为关键问题。解决这一挑战的核心方法之一是归因，这涉及到追踪生成的输出回其来源文档。然而，由于LLMs可以生成不准确或不精确的响应，评估这些引用的可靠性变得至关重要。
为应对这一挑战，我们的工作提出了两种技术。(1) 零样本方法将归因框架化为一个简单的文本蕴含任务。我们的方法使用flan-ul2在AttributionBench的数据集的最佳基线（ID集和OOD集）上分别提高了0.27%和2.4%。(2) 我们还探讨了注意力机制在增强归因过程中的作用。使用较小的LLM flan-t5-small，在几乎所有层（除了第4层和第8到第11层）的F1分数均优于基线。
arXiv:2505.06321v1 类型: cross
摘要：大型语言模型（LLMs）在各个领域已取得显著成果。然而，它们仍面临重大挑战，包括训练时高昂的计算成本以及解决复杂推理问题的局限性。尽管现有方法通过结构化范式扩展了LLMs的推理能力，但这些方法通常依赖于特定任务的提示和预定义的推理过程，这限制了它们的灵活性和通用性。为应对这些限制，我们提出了一种新型框架，利用图学习来增强LLMs的更灵活和适应性的推理能力。具体而言，这种方法将问题的推理过程建模为图，并利用基于LLM的图学习来引导每个推理步骤的自适应生成。为了进一步增强模型的适应性，我们引入了一个图神经网络（GNN）模块，在生成的推理过程中进行表示学习，从而实现实时调整模型和提示。实验结果表明，这种方法在多个任务中显著提高了推理性能，而无需额外的训练或特定任务的提示设计。相关代码可以在https://github.com/zch65458525/L2T找到。
arXiv:2505.06320v1 Announce Type: cross
摘要：情感分类是一项复杂的自然语言处理任务，在分析带有多种对立情绪的段落时变得更加具有挑战性。通常，较长的段落会加剧这一问题，导致模型性能下降。本文旨在介绍新的方法来隔离对立情绪并进行聚合，以便有效预测此类段落的整体情绪。其中一种聚合策略涉及一个多层感知机（MLP）模型，在包括Amazon、Twitter和SST等多个数据集上表现出色，同时成本仅为微调基线模型的约1/100。
arXiv:2505.06315v1 安全公告类型: 交叉
摘要: 人工智能领域的最新进展正在将人工智能在我们世界中的普遍存在从单独的人工智能应用转化为深度整合的人工智能代理。这些变化是由代理能力的不断提高推动的，这些代理能够自主决策和发起行动，无论这些行动是否基于人工智能。这一演变使人工智能的整合达到了前所未有的水平，代理现在能够代表系统和用户采取行动——包括在某些情况下，具备自主编写和执行必要脚本的强大能力。由于人工智能系统能够自主执行代码、与外部系统交互并且无需人类监督，传统的安全方法已经不再够用。
本文引入了一种以资产为中心的方法来对集成人工智能代理进行威胁建模，以应对由这些代理带来的一系列独特安全挑战。不同于现有的自上而下框架，该框架在特定产品上下文中分析个体攻击，我们的自下而上方法使防御者能够系统地识别代理开发和部署所使用的分布式基础设施中的漏洞，无论是传统漏洞还是人工智能特有漏洞如何影响关键的人工智能资产。这种方法使安全团队能够：（1）进行全面分析，有效地跨越技术领域进行沟通，（2）在无需了解第三方人工智能组件实现细节的情况下量化安全假设，以及（3）全面识别与他们特定产品上下文相关的基于人工智能的漏洞。这种方法特别适用于保护具有复杂自主能力的代理系统。通过将重点放在资产上而非攻击上，我们的方法能够适应快速变化的威胁环境，同时容纳日益复杂和分布的人工智能开发流水线。
arXiv:2505.06314v1 交叉领域类型：跨领域
摘要：人工智能承诺个性化学习和可扩展教育。随着人工智能代理在教育领域日益广泛地支持教学和学习，迫切需要数据架构来收集和分析学习数据，并将结果反馈给教师、学习者和人工智能代理，以便大规模进行个性化学习。在美国成人学习和在线教育国家人工智能研究所，我们正在开发一个增强学习的人工智能架构（A4L），以支持通过在线教育进行的成人学习。我们介绍了A4L架构的动力、目标和需求。我们描述了A4L的初步应用，并讨论了它如何推进使学习更加个性化和可扩展的目标。
arXiv:2505.06313v1 类别: cross
摘要：该论文考虑使用带有检索增强生成（RAG）的 GPT 模型，对北约（NATO）情感、北约团结和北约第5条信任意见评分在不同网络来源中的定性和定量分析。通过 Google Search API 查找的相关新闻网站、YouTube 视频附带的评论以及 Reddit 讨论中涉及北约相关话题的新闻，应用了 RAG 方法进行分析。使用了两级 RAG 分析：第一级，GPT 模型在零样本提示下生成定性新闻摘要和定量意见评分；第二级，GPT 模型生成新闻摘要的摘要。使用贝叶斯回归分析 GPT 模型生成的定量新闻意见评分，以获取趋势线。回归参数的分布使得可以分析指定新闻意见评分趋势的不确定性。所得结果显示，与北约团结相关的意见评分呈现下降趋势。
此方法不旨在进行实际的政治分析；而是考虑可以利用的基于 AI 的方法，作为复杂分析方法的一部分进行进一步分析。所得结果表明，使用 GPT 模型进行新闻分析可以提供具有信息价值的定性和定量分析，提供重要的见解。基于神经常微分方程的动态模型被用于建模公众意见。这种方法使我们能够分析公众意见演变的不同情境。
arXiv:2505.06312v1 宣言类型: cross
摘要：责任空白是由集体决策机制产生的，其中没有单一的代理人在个体层面承担责任。通常，当设计决策过程时，应尽量减少这一空白。
论文提出了一种当选独裁的概念。它表明，在完美信息设置下，空白集为空当且仅当该机制为当选独裁。此外，它证明在不完全信息设置下，空白机制类严格位于两种版本的当选独裁机制类之间。
arXiv:2505.06311v1 分类：交叉领域
摘要：将大型语言模型（LLMs）与外部来源的整合变得越来越普遍，检索增强生成（RAG）就是一个典型的例子。然而，这种整合引入了间接提示注入（IPI）攻击的安全隐患，在外部数据中隐藏的指令可以操纵LLMs执行未预期或有害的操作。我们认识到IPI攻击的成功主要依赖于外部内容中嵌入的指令，这些指令可以改变LLMs的行为状态。检测这样的状态变化能否帮助我们抵御IPI攻击？在本文中，我们提出了一种新型方法，该方法将外部数据作为输入，并利用LLMs在正向和反向传播期间的行为状态来检测潜在的IPI攻击。具体而言，我们证明了从中间层提取的隐藏状态和梯度提供了高度可区分的指令检测特征。通过有效结合这些特征，我们的方法在领域内场景中的检测准确率达到99.60%，在领域外场景中的检测准确率达到96.90%，同时将BIPIA基准上的攻击成功率降至仅0.12%。
arXiv:2505.06307v1 类型: cross
摘要: 物联网（IoT）技术的快速发展已经改变了人们的生活方式，并对生产和日常活动产生了深远的影响。然而，随着物联网技术的迅速发展，物联网设备的安全性已成为研究和应用中无法回避的问题。尽管已经做出了努力来检测或缓解物联网安全漏洞，但它们往往难以适应物联网环境的复杂性，特别是在处理动态安全场景时。如何自动、高效且准确地理解这些漏洞仍然是一个挑战。为了解决这一问题，我们提出了一种由大型语言模型（LLM）驱动的物联网安全助手，该助手增强了LLM对物联网安全漏洞及相关威胁的理解。我们提出的ICoT方法的目的是通过分解安全漏洞的各种维度并生成符合用户特定需求和专业水平的响应，让LLM能够理解安全问题。通过结合ICoT，LLM可以逐渐分析和推理复杂的安全场景，从而提供更准确、深入且个性化的安全建议和解决方案。实验结果显示，与仅依赖LLM的方法相比，我们提出的由LLM驱动的物联网安全助手通过ICoT方法显著提高了对物联网安全问题的理解，并能根据用户的身份提供个性化的解决方案，显示出更高的准确性和可靠性。