arXiv:2402.07510v4
公告类型：替换
摘要：大型语言模型（LLMs）能力的 recent 增强为一组通信生成性 AI 代理解决联合任务的应用打开了新局面。这提出了隐私和安全方面的挑战，涉及未经授权的信息共享或其他形式的智能体协调。现代隐写技术可能使这些动态难以检测。在本文中，我们借鉴了人工智能和安全文献中的相关概念，全面形式化生成性 AI 代理系统中的秘密合谋问题。我们研究了使用隐写技术的激励措施，并提出了多种缓解措施。我们的调查结果产生了一个模型评估框架，系统地测试了各种形式的秘密合谋所需的各项能力。我们提供了涵盖当前各种当代 LLM 的大量实验证据。虽然当前模型的隐写技术能力仍然有限，但 GPT-4 展示出了技术跃升，提示需要持续监控前沿模型的隐写技术能力。最后，我们提出了一个全面的研究计划，以缓解生成性 AI 模型之间未来合谋的风险。
arXiv:2402.01677v4 公告类型: 替换
摘要：Ontologies包含领域内的丰富知识，可以分为两类，即扩延知识和意延知识。扩延知识提供了属于特定本体概念的具体实例的信息，而意延知识则详细描述了概念之间的固有属性、特征和语义关联。然而，现有的本体嵌入方法未能同时细致地考虑这两种知识。在本文中，我们提出了一种称为EIKE（扩延知识和意延知识嵌入）的新颖本体嵌入方法，通过在称为扩延空间和意延空间的两个空间中表示本体。EIKE提供了一个统一框架，用于嵌入本体中的实例、概念及其关系，应用基于几何的方法来建模扩延知识，并使用预训练的语言模型来建模意延知识，这可以捕获结构信息和文本信息。实验结果表明，EIKE在三个数据集中的三元组分类和链接预测任务上显著优于现有方法，表明EIKE提供了更全面和代表性的领域视角。
arXiv:2212.10723v2 通知类型: 替换
摘要: Predict+Optimize框架将预测与优化结合起来，以应对可再生能源调度等实际挑战，其中变异性与不确定性是关键因素。本文对IEEE-CIS技术挑战中的Predict+Optimize解决方案进行了基准测试，重点在于可再生能源生产和需求的预测以及能源成本的优化。比赛共有49名参与者参加。排名第一的方法使用了LightGBM集成进行随机优化，并与确定性方法相比至少降低了2%的能源成本，这表明最准确的点预测并不一定能保证下游优化的最佳性能。发布的数据和问题设定为集成预测-优化方法在能源系统中的进一步研究奠定了基准，突出了在优化模型中考虑预测不确定性的重要性，以实现经济且可靠的能源管理。这项工作的创新之处在于其全面评估了Predict+Optimize方法在实际可再生能源调度问题中的应用，为提出的解决方案的可扩展性、普适性和有效性提供了见解。潜在的应用不仅限于能源系统，还扩展到任何需要整合预测和优化的领域，如供应链管理、交通规划和金融投资组合优化。
arXiv:2504.10478v1 交叉类型：
摘要：我们在推理模型训练过程中研究了一种故障模式，其中生成的多样性开始崩溃，导致测试时缩放效果不佳。值得注意的是，监督微调（SFT）过程中Pass@1率可靠地得到了改善，但Pass@k迅速恶化。令人惊讶的是，通过插值最新SFT检查点和早期检查点的权重，即WiSE-FT，几乎完全恢复了Pass@k，同时还改善了Pass@1。WiSE-FT变体在测试时缩放（Best@k，多数投票）方面取得了更好的效果，并在进一步通过强化学习调整时，以较少的数据获得了更好的结果。最后，我们发现WiSE-FT提供了无法仅通过多样性诱导解码策略（如温度缩放）实现的补充性能增益。我们形式化了Pass@k相对于Pass@1在测试分布上的期望和方差之间的偏差-方差权衡。我们发现WiSE-FT能够同时减少偏差和方差，而温度缩放本质上在偏差和方差之间进行权衡。
arXiv:2504.10443v1 类型: cross
摘要：大型语言模型（LLMs）的最新进展在视频理解方面取得了显著突破。然而，现有的模型仍然难以处理长时间的视频处理问题，这主要是由于LLMs的上下文长度限制以及视频中的大量信息。虽然有一些最近的方法被设计用于长时间视频理解，但在进行标记压缩时，它们往往会丢失重要的信息，并且难以处理像音频这样的附加模态。在本文中，我们提出了一种利用帧之间时间关系的动态长时间视频编码方法，名为Temporal Dynamic Context（TDC）。首先，我们根据帧间的相似性将视频分割为语义一致的场景，然后使用视觉-音频编码器将每一帧编码为标记。其次，我们提出了一种新颖的时间上下文压缩方法来减少每个片段内的标记数量。具体来说，我们采用基于查询的Transformer将视频、音频和指令文本标记聚合为有限的时间上下文标记集。最后，我们将静态帧标记和时间上下文标记输入LLM进行视频理解。此外，为了处理极其长的视频，我们提出了一种无需训练的思考链策略，该策略逐步从多个视频片段中提取答案。这些中间答案作为推理过程的一部分，并有助于最终答案。我们对通用视频理解和视听理解基准进行了广泛的实验，其中我们的方法表现出强大的性能。代码和模型可在https://github.com/Hoar012/TDC-Video获取。
arXiv:2504.10430v1 宣告类型: cross
摘要：最近在大型语言模型（LLMs）方面的进展使其能够接近人类级别的说服能力。然而，这种潜力也引发了关于LLM驱动说服安全风险的担忧，特别是它们通过操控、欺骗、利用漏洞和其他许多有害手段进行不道德影响的可能性。在这项工作中，我们通过两个关键方面对LLM说服安全性进行了系统的调查：（1）当初始说服目标看似具有伦理中立性时，LLMs是否适当地拒绝不道德的说服任务并在执行过程中避免使用不道德的策略，（2）影响因素如个性特征和外部压力如何影响其行为。为此，我们引入了PersuSafety，这是第一个全面评估说服安全性的框架，包括三个阶段，即说服场景创建、说服性对话模拟和说服安全评估。PersuSafety覆盖了6种不同的不道德说服主题和15种常见的不道德策略。通过对8种广泛使用的LLM进行广泛的实验，我们观察到大多数LLMs存在显著的安全问题，包括未能识别有害的说服任务以及利用各种不道德的说服策略。我们的研究要求在如说服那样的渐进性和目标驱动对话中更加重视提高安全对齐。
arXiv:2504.10421v1 交叉领域类型
摘要：知识编辑作为一种通过修改大型语言模型（LLMs）的内部知识来更新它们的有效方法已经浮出水面。然而，将这种方法应用于生物医学领域面临着独特的挑战，因为生物医学知识的分布呈长尾状，罕见且不常用的资料占主导地位。在本文中，我们首次进行全面研究，探讨知识编辑方法在编辑长尾生物医学知识方面的有效性。结果表明，虽然现有的编辑方法能够提升LLMs在长尾生物医学知识上的性能，但它们在处理长尾知识方面的表现仍然不如处理高频流行知识，即便进行了编辑。我们进一步的分析揭示，长尾生物医学知识包含了大量的“一到多”知识，即一个主题和关系链接到多个对象。这种“一到多”知识的高普及率限制了知识编辑方法在提高LLMs对长尾生物医学知识理解方面的效果，突显了需要针对这种表现差距制定特殊策略的必要性。
arXiv:2504.10415v1 宣布类型: cross
摘要：科学方程发现是科学进步历史中的一个基本任务，它使得能够推导出规范自然现象的定律。最近，大型语言模型（LLMs）因有可能利用嵌入的科学知识生成假设而对这一任务产生了兴趣。然而，评估这些方法的真实发现能力仍然是一个挑战，因为现有的基准测试往往依赖于常见的方程，这些方程容易被LLMs记忆，导致夸大了性能指标，这些指标并不能反映真实的发现。在本文中，我们介绍了LLM-SRBench，这是一个全面的基准测试，包含239个具有挑战性的问题，专门设计用于评估基于LLM的科学方程发现方法，同时防止简单的记忆。我们的基准测试包括两大类：LSR-Transform，它将常见的物理模型转化为不太常见的数学表示，以测试超出记忆形式的推理，以及LSR-Synth，它引入了合成的、以发现为导向的问题，需要数据驱动的推理。通过使用公开和封闭的LLM进行广泛的评估，我们发现迄今为止表现最好的系统也只实现了31.5%的符号准确性。这些发现突显了科学方程发现的挑战，将LLM-SRBench定位为未来研究的宝贵资源。
arXiv:2504.10405v1 Announce Type: 交叉
摘要：将大型语言模型（LLMs）集成到医疗保健领域具有显著潜力，可以提高诊断准确性并支持医疗治疗计划。这些基于人工智能的系统可以分析大量数据集，帮助临床医生识别疾病、推荐治疗方案并预测患者结果。本文评估了多种当前流行的LLMs在2024年葡萄牙医学专业入学全国考试（PNA）上的性能，这是一个标准化的医学知识评估。我们的结果显示，在准确性和成本效益方面存在显著差异，有多款模型在该特定任务上的表现超过了医学学生的人类基准。我们根据准确性和成本的综合得分确定了领先模型，讨论了诸如Chain-of-Thought等推理方法的意义，并强调了LLMs作为有价值的辅助工具在复杂临床决策中的潜力，以帮助医疗专业人员。
arXiv:2504.10390v1 声称类型: 交叉
摘要：在高维控制和环境不确定性的影响下，在复杂地形上实现稳健的移动仍然是一个挑战。本文提出了一种基于教师-学生范式的教师先验框架，结合模仿和辅助任务学习以提高学习效率和泛化能力。与传统依赖于基于编码器的状态嵌入的范式不同，我们的框架分离了网络设计，简化了策略网络的部署。首先使用特权信息训练高性能的教师策略，以获得可泛化的动作技能。教师的动作分布通过生成对抗机制转移到学生策略中，该学生策略仅依赖于嘈杂的本体感受数据，以缓解由分布偏移引起的性能下降。此外，辅助任务学习增强了学生策略的特征表示，加快了收敛速度并提高了对不同地形的适应性。该框架在人形机器人上进行了验证，显示在动态地形上移动稳定性有了显著提高，并且开发成本显著降低。这项工作为在人形机器人中部署稳健的移动策略提供了实际解决方案。