arXiv:2412.19507v2 宣告类型: 替换
摘要: 局部因果发现旨在从观测数据中学习和区分目标变量的直接原因和效应。现有的基于约束的局部因果发现方法在构建局部因果骨架时使用AND或OR规则，但单独使用任一规则容易导致学习出的局部因果骨架中出现级联错误，从而影响局部因果关系的推断。另一方面，直接将基于分数的全局因果发现方法应用于局部因果发现可能会由于局部等价类的存在而随机返回错误结果。为了解决上述问题，我们提出了一种名为HLCD的混合局部因果发现算法。具体而言，HLCD首先利用结合了OR规则的基于约束的方法获取候选骨架，然后使用基于分数的方法消除候选骨架中的冗余部分。此外，在局部因果定向阶段，HLCD通过比较两种局部结构分数的方式来区分V-结构与等价类，从而避免由于局部等价类引起的定向干扰。我们在14个基准贝叶斯网络数据集上与七种最先进的竞争对手进行了广泛的实验，实验结果表明，HLCD显著优于现有局部因果发现算法。
arXiv:2410.17500v2 宣告类型: 替换
摘要: 不可分割资源的公平分配是一个基本问题。现有研究已经开发出了各种分配机制或算法，以满足不同的公平准则。例如，循环轮流制（RR）被提出以满足唯一好物的嫉妒自由（EF1）公平标准。专家在实际资源分配问题中使用算法而无需数学形式化，以找到用户优选的结果。因此，我们的目标是设计严格满足良好属性并复制专家知识的机制。然而，这个问题具有挑战性，因为这样的启发式规则往往难以进行数学形式化，使其难以整合到理论框架中。此外，形式化的算法难以找到优选的结果，直接复制这些隐式规则会导致不公平的分配，因为人的决策可能会引入偏见。在这篇论文中，我们旨在从示例中学习隐式的分配机制，同时严格遵守公平约束，特别是通过监督学习从报告的价值和隐式规则产生的相应分配结果示例中学习EF1分配机制。为了解决这个问题，我们开发了一种神经循环轮流制（NRR），这是一种新型的神经网络，参数化了循环轮流制。NRR基于RR的可微松弛版，并可以训练来学习用于RR的代理排序。我们进行了实验，通过示例学习EF1分配机制，结果显示我们的方法在预测分配的接近度和其他指标上优于基准方法。
arXiv:2410.15665v4 提交类型: 更新
摘要: 大型语言模型（LLMs）如GPT，在大规模数据集上训练后，展示了在语言理解、推理和规划方面的出色能力，并在各种任务中达到了人类级别的性能。大多数研究集中在通过训练更大的数据集来增强这些模型，以构建更强大的基础模型。虽然训练更强的模型很重要，但在推理过程中使模型能够自我进化同样至关重要，这一过程我们称之为AI自我进化。与大规模训练不同，自我进化可能依赖于有限的数据或交互。受人类大脑皮层柱状组织的启发，我们假设AI模型可以通过与其环境进行反复交互来发展认知能力并构建内部表示。为了实现这一点，模型需要长期记忆（LTM）来存储和管理处理过的交互数据。LTM 通过在各种环境中和代理之间表示多样化的经验来支持自我进化。在本报告中，我们探讨了AI自我进化及其在推理过程中增强模型的潜力。我们研究了LTM在终身学习中的作用，使模型能够根据积累的交互进行进化。我们概述了LTM的结构以及用于有效数据保留和表示的系统。我们还针对LTM数据提供了构建个性化模型的方法，并展示了这些模型如何通过交互实现自我进化。借助LTM，我们的多代理框架OMNE在GAIA基准测试中获得第一名，证明了LTM在AI自我进化中的潜力。最后，我们提出了一条未来研究的路线图，强调LTM对于推进AI技术和其实际应用的重要性。
arXiv:2410.01098v2 通知类型: 替换
摘要：本文探讨了生成式人工智能（Gen-AI）技术，特别是大型语言模型，在建筑行业中的 transformative 潜力。通过利用这些先进的 AI 工具，研究探讨了它们在建筑合规性检查、建筑设计辅助等关键领域的应用。研究指出，Gen-AI 可以自动化劳动密集型过程，显著提高建筑实践中的效率并降低成本。论文首先讨论了两种广泛应用于基本模型——Transformer 和扩散模型——并总结了访问 Gen-AI 模型的当前途径及其最常见的自定义技术。然后探讨了文本生成的应用，包括合规性检查、控制支持、数据挖掘以及建筑模拟输入文件编辑。此外，还分析了图像生成，包括通过扩散模型的直接生成和通过基于现有计算机辅助设计或其他设计工具的渲染支持语言模型生成的间接生成。最后，论文对当前建筑行业 Gen-AI 的能力进行了全面分析，并概述了未来研究与开发的方向，旨在推动更智能、更有效的响应式设计、施工和运营实践的发展。
arXiv:2408.14419v2 项目类型：替换
摘要：我们介绍了CHARTOM，这是一个用于多模态大型语言模型的视觉理论思维基准测试。CHARTOM包含特别设计的数据可视化图表。给定一个图表，语言模型不仅需要正确理解图表（FACT问题），还需要判断该图表是否会对人类读者产生误导作用（MIND问题）。这两个问题都有重要的社会价值。我们详细介绍了CHARTOM基准测试的构建过程，包括其与人类表现的校准。我们使用截至2024年底的领先LLM（包括GPT、Claude、Gemini、Qwen、Llama和Llava）对CHARTOM数据集进行了基准测试，并发现我们的基准测试对所有测试的LLM都具有挑战性，表明未来大型语言模型存在改进的空间。
arXiv:2407.19031v2 公告类型: 替换
摘要：本文提出了一种变革性的框架，用于在分级向量空间上的人工神经网络，旨在模型具有层次结构和结构数据，如代数几何和物理学领域中的数据。通过利用分级向量空间的代数性质，其中特征具有不同的权重，我们扩展了经典的神经网络，加入分级神经元、层级和保持结构完整性的同时具有代数性质的激活函数。基于群作用、表示论和分级代数，我们的方法结合了理论严谨性和实际应用性。
我们引入了分级神经架构、优先处理分级组件的损失函数以及可适应不同分级的等变扩展。案例研究验证了该框架的有效性，在诸如预测加权射影空间中的不变量和建模超对称系统等任务上，优于标准神经网络。
这项工作确立了机器学习的新前沿，将数学复杂性与跨学科应用相结合。未来挑战，包括计算可扩展性和有限域扩展，为发展这一范式提供了丰富的机遇。
arXiv:2406.14132v2 宣布类型: 更新
摘要：在移动互联网时代，基于电子商务的在线食品订购服务（OFOS）得益于它为人们带来的便利而成为包容性金融的一个重要组成部分。OFOS平台通过多种多样的营销活动对用户和商家提供动态分配激励，以鼓励支付行为，同时保持平台预算效率。尽管取得了显著进展，但在营销领域仍然存在两个主要挑战：(i) 如何更有效地分配有限的预算，要求精准预测用户对激励的单调响应（即敏感性），以及(ii) 确保在不同时间、不同地点的各种营销活动中具备空间和时间上的适应性和鲁棒性。为了解决这些问题，我们提出了一种针对营销定价的空间和时间感知约束单调适应网络（CoMAN）方法。具体而言，我们通过两个基础的空间和时间感知模块捕捉属性特征中的空间和时间偏好。为了进一步增强捕捉在不同时间和地点用户对激励的不同敏感性，我们设计了学习空间和时间凸性和凹性的模块，以及表达敏感性函数的模块。CoMAN 可在定价过程中实现更高效的激励投资分配，从而提高转化率和订单量，同时保持预算效率。我们在不同时间和地点的多样营销活动中进行的离线和在线实验结果表明，所提出的方法在效果上优于单调性的最新方法，证明了其有效性。
arXiv:2404.12534v3 公告类型: 替换
摘要: 神经定理证明将大型语言模型（LLMs）与Lean等证明助手相结合，后者可以严格验证形式证明的正确性，没有幻觉的空间。尽管现有的神经定理证明者已经针对固定的数据集进行了预训练，并在某些时候提供了有价值的建议，但在完全自主模式下，它们仍然难以持续证明新颖的定理，这时候人类的见解可能是关键性的。本文我们探索了将LLMs作为辅助编程人员来协助证明定理的合作者。我们引入了Lean Copilot，这是一种在Lean中原生运行LLM推理的通用框架。它使程序员能够构建无缝集成到Lean用户工作流的各种LLM为基础的证明自动化工具。Lean用户可以使用我们预训练的模型或自己提供运行在本地（可能配有GPU）或云端的模型。使用Lean Copilot，我们构建了基于LLM的工具来建议证明步骤、完成证明目标并选择相关前提。在Lean教科书中的数学定理实验结果表明，我们的方法相比Lean中的基于规则的证明自动化（aesop）更加有效。在协助人类时，Lean Copilot平均只需手动输入2.08个证明步骤（aesop需要3.86个）；在自动化证明过程时，Lean Copilot平均自动化了74.2%的证明步骤，比aesop多出85%（aesop为40.1%）。我们以宽松的MIT许可证开源所有代码和资源，以促进进一步的研究。
arXiv:2505.07819v1 Announce Type: cross
摘要：视觉运动策略学习在机器人的操作中取得了显著进展，最近的方法大多依赖生成模型来建模动作分布。然而，这些方法往往忽略了视觉感知与动作预测之间的关键耦合。在这项工作中，我们引入了**三重层次扩散策略**（**H$^3$DP**），这是一种新颖的视觉运动学习框架，明确地结合了层次结构以强化视觉特征与动作生成之间的集成。H$^3$DP 包含**3**个层次结构：（1）深度感知的输入层，基于深度信息组织 RGB-D 观察；（2）多尺度视觉表示，编码不同粒度的语义特征；（3）层次条件下的扩散过程，将粗到细的动作生成与相应的视觉特征对齐。广泛的实验证实，H$^3$DP 在**44**个仿真任务中相对于基线方法平均提高了**27.5%**的相对性能，且在**4**个具有挑战性的双臂实际操作任务中表现出优越的性能。项目页面：https://lyy-iiis.github.io/h3dp/。
arXiv:2505.07816v1 类型: cross
摘要: 本文将分级模态 μ- calculus 的 μ 片段转换为一类分布式消息传递自动机。作为推论，我们获得了对于 \cite{ahvonen_neurips} 中的一个定理的一个替代证明，该定理指出，使用实数和分级模态替代计算的循环图神经网络在限定于逻辑单调二阶逻辑 MSO 的情况下具有相同的表达示力。