arXiv:2402.17472v4 通知类型: 替换-交叉
摘要：由于欺诈活动的复杂性和欺骗性，欺诈检测仍然是一个具有挑战性的任务。当前的方法主要集中在学习图的单一视角：要么是图的拓扑结构，要么是个别节点的属性。然而，我们通过实证研究揭示了这两种特征，尽管几乎是正交的，各自独立地是有效的。因此，先前的方法无法完全捕捉欺诈图的综合特性。为了解决这个问题，我们提出了一种名为RAGFormer的新框架，该框架同时将语义和拓扑特征嵌入到目标节点中。这个简单而有效的网络由语义编码器、拓扑编码器和注意融合模块组成。语义编码器利用Transformer学习跨不同关系的语义特征和节点交互。我们引入了Relation-Aware GNN作为拓扑编码器来学习每个关系内的拓扑特征和节点交互。这两种互补特征通过注意融合模块交错，以支持正交特征的预测。在两个流行的公开数据集上的广泛实验表明，RAGFormer达到了最先进的性能。RAGFormer在工业信用卡欺诈检测数据集上的显著改进进一步验证了我们方法在实际业务场景中的适用性。
arXiv:2402.09401v2 宣布类型: replace-cross
摘要:使大规模语言模型（LLM）与人类偏好对齐在构建现代生成模型中发挥着关键作用，并可以通过人类反馈强化学习（RLHF）实现。尽管当前的RLHF方法表现出色，但它们往往需要大量的带标签的人类偏好数据，这非常昂贵且难以收集。在本文中，受主动学习成功的启发，我们通过提出查询高效的方法来解决这个问题。我们首先将对齐问题正式化为上下文对集多臂赌博机问题，并设计一种基于主动查询的接近策略优化（APPO）算法，该算法具有实例依赖的$\tilde{O}(d^2/\Delta)$遗憾上界和$\tilde{O}(d^2/\Delta^2)$查询复杂度，其中 $d$ 是特征空间的维度，$\Delta$ 是所有上下文下的次优差距。然后，我们提出了一种基于直接偏好优化（DPO）的实用版本ADPO算法，并将其应用于LLM的微调。我们的实验证明，尽管ADPO只约半数人类偏好查询，但其性能仍与最先进的DPO方法相当。
arXiv:2312.11582v3 宣布类型: replace-cross
摘要：因果结构学习（Causal Structure Learning, CSL），也称为因果发现，是指从数据中提取变量之间的因果关系。CSL 允许仅从观察数据中估计因果效应，避免进行实际实验。基于约束的方法使用条件独立性测试来进行因果发现。我们提出了一种名为 Shapley-PC 的新方法，通过在可能的条件集上使用 Shapley 值来决定哪些变量对观察到的条件（不）独立性负责，从而改进基于约束的 CSL 算法。我们证明了 Shapley-PC 的稳健性、完备性和渐近一致性，并通过仿真研究显示，我们提出的算法优于现有的 PC 版本。
arXiv:2310.07799v3 类型：替换-交叉
摘要：新兴疾病由于可用信息有限，给症状识别和及时的临床干预带来了挑战。有效的预后模型能够帮助医师做出准确的诊断并设计个性化的治疗计划，以防止不良后果。然而，在疾病初期阶段，多项因素阻碍了模型的发展：数据收集有限、临床经验不足以及隐私和伦理问题限制了数据可用性并使准确标签的分配复杂化。此外，不同疾病或来源的电子医疗记录（EMR）数据在不同数据集上表现出显著的特征不对齐，严重影响了深度学习模型的有效性。我们提出了一种领域不变的表示学习方法，用于构建源数据集和目标数据集之间的过渡模型。通过约束在不同领域生成的特征分布的变化，我们捕捉到特定于下游任务的领域不变特征，开发了一个统一的领域不变编码器，能够在各种任务领域中实现更好的特征表示。在多个目标任务的实验结果表明，我们提出的模型超越了竞争基准方法，并且在有限数据下实现了更快的训练收敛。广泛实验验证了我们方法在提供更准确的新兴大流行病和其他疾病预测方面更有效。代码可从https://github.com/wang1yuhang/domain_invariant_network 公开获取。
arXiv:2502.05398v2 通告类型: 更新
摘要：元认知是指关于代理自身内部过程的推理概念，近年来，随着人工智能（AI）以及更具体的机器学习系统的出现，它再次引起了关注。本文回顾了一种名为“错误检测和校正规则”（EDCR）的混合AI方法，该方法允许学习校正感知模型（例如，神经网络模型）的规则。此外，我们引入了一个概率框架，为先前的经验研究增加了严谨性，并使用该框架证明了元认知改进的必要和充分条件，以及该方法的限制。一系列未来的工作
arXiv:2502.04512v2 宣布类型: 替换
摘要: 人工智能进步在很大程度上得益于基础模型和好奇心驱动的学习的结合，旨在提高能力和适应性。在这个领域的一个日益引起关注的领域是开放性——即AI系统能够持续且自主地生成新颖且多样的 artefacts 或解决方案的能力。这在加速科学研究和使AI代理实现持续适应方面变得越来越相关。本文观点认为，本质上动态且自我传播的开放性AI引入了重要的、尚未充分探索的潜在风险，包括保持一致性、可预测性和可控性的挑战。本文系统地探讨了这些挑战，提出了缓解策略，并呼吁不同利益相关方采取行动以支持开放性AI的安全、责任和成功开发。
arXiv:2501.07913v2 宣布类型: 替换
摘要: 人工智能领域正在经历一场根本性的转变，从能够生成合成内容的生成模型，转变为能够仅在有限的人类干预下规划和执行复杂任务的人工智能代理。早期开发语言模型的公司现在已经构建了能够独立浏览互联网、执行广泛的在线任务，并且日益成为人工智能个人助手和虚拟同事的人工智能代理。这种新技术带来的机遇是巨大的，同时也伴随着相应的风险。幸运的是，存在应对许多这些挑战的稳健的分析框架，即主要代理人理论的经济理论和代理关系的普通法原则。借助这些框架，本文做出了三项贡献。首先，它利用代理法和理论来识别和描述人工智能代理所产生的问题，包括信息不对称、酌情权力和忠诚度等方面的问题。第二，它阐述了传统解决代理人问题的方法的限制：激励设计、监控和执行可能无法有效地管理做出不可解释决定并在前所未有的速度和规模下运作的人工智能代理。第三，本文探讨了代理法和理论对设计和监管人工智能代理的含义，认为需要新的技术与法律基础设施来支持包容性、可见性和责任的治理原则。
arXiv:2411.17438v2 自动智能代理公告类型：取代
摘要：自主智能代理必须在从感官输入和运动命令的低级空间到高级抽象推理和规划领域的不同抽象层次上解决计算挑战。设计这种代理时的一个关键问题是，如何最好地实现将这两个层级连接起来的表示空间——理想情况下无需昂贵的数据标注形式的监督。这些目标可以通过以对象为中心的方式表示世界来高效地实现（这些对象基于感知和行动）。在本文中，我们提出了一种新颖的、受脑启发的深度学习架构，该架构通过像素学习来解释、控制并对其环境进行推理，使用以对象为中心的表示。我们通过需要结合高级逻辑推理和低级连续控制的任务，在合成环境中展示了我们方法的实用性。结果表明，代理可以学习出自动出现的条件行为推理，例如 $(A \to B) \land (\neg A \to C)$，以及逻辑组合 $(A \to B) \land (A \to C) \vdash A \to (B \land C)$ 和异或操作，并成功地控制其环境以满足从这些逻辑规则推导出的目标。代理可以在线适应其环境中的意外变化，并由于动态内部期望目标生成而对轻微违反其世界模型的逆境具有鲁棒性。虽然目前的结果仅限于合成环境（2D和3D激活版本的dSprites），尚未达到现实世界的复杂性水平，但提出架构展示了如何通过使用接地对象表示，作为无监督学习的关键归纳偏置，来实现行为推理。
arXiv:2411.06624v3 宣布类型：替换
摘要：近期有关人工智能的监管提案强调了机器学习模型的公平性要求。然而，由于存在哲学、文化和政治背景，精确地定义适当的公平性衡量标准极具挑战性。偏见可能以复杂的方式渗透到机器学习模型中，这取决于模型的上下文，使得单一的通用公平性度量标准不够。这种模糊性突显了需要制定标准来指导选择上下文相关的公平性衡量标准的必要性，尤其是在日益严格的监管要求背景下，这个问题变得越来越重要。为应对这一挑战，我们开发了一个流程图来指导选择上下文适配的公平性衡量标准。我们使用了十二个标准来制定这个流程图，这包括模型评估标准、模型选择标准以及数据偏见的考量。我们还回顾了机器学习领域的公平性文献，并将其与核心监管工具联系起来，以帮助政策制定者、人工智能开发者、研究人员以及其他利益相关者合理地解决公平性问题并遵守相关监管要求。
arXiv:2410.11507v3 宣告类型: 替换
摘要: 虽然已经开发出了各种垂直领域大型语言模型（LLMs），但在不同领域自动评估其性能仍然是一个关键挑战。当前基于基准的方法往往依赖于静态且昂贵的数据集，与实际用户需求不契合，并缺乏跨领域的灵活性。为了解决这些限制，我们重访了评估过程，并引入了两个关键概念：Benchmark+，它将传统的问答基准扩展为更具灵活性的“策略-标准”格式；以及Assessment+，它改进了交互过程，能够进行更深入的探索，并支持从更广泛的角度进行分析。我们提出了TestAgent，一种基于代理的评估框架，利用检索增强生成和强化学习实现了这些概念。TestAgent能够在多种垂直领域场景下实现自动动态基准生成和深入评估。从构造多个垂直领域评估到将静态基准转换为动态形式的任务实验结果证明了TestAgent的有效性。这项工作为LLMs自动评估提供了有趣的视角，并突显了一条动态和领域适应性评估的道路。