arXiv:2504.02285v1 宣告类型: cross
摘要：基于树的模型由于其高效性、稳健性和可解释性，在广泛的实际应用场景中取得了巨大成功，这激发了人们近年来在垂直联邦学习（VFL）场景中应用这些模型的热情。在本文中，我们从通信和计算协议的角度进行了全面的研究，对在VFL中应用基于树的模型进行了综述。我们将基于树的模型在VFL中分为两类，即特征聚合模型和标签分散模型，并详细讨论了它们的特征、优势、隐私保护机制和应用。本文还重点介绍了在VFL中实现基于树的模型的设计原则，总结了多个设计原则以更好地满足来自学术研究和工业部署的各种要求。我们进行了一系列实验，提供了不同类型的基于树的模型在差异和进步方面的实证观察。
arXiv:2504.02277v1 交叉通知类型
摘要：医学成像，特别是X射线分析，常常需要在同一扫描中同时检测多种状况，因此多标签分类对于实际临床应用至关重要。我们提出了医疗X射线注意力（MXA）模块，这是一种专门针对X射线异常检测的独特挑战而设计的新颖注意力机制。MXA模块增强了传统的多头自我注意力（MHSA），通过集成一个能够高效捕获详细局部信息和更广泛的全局上下文的专门模块。据我们所知，这是首次提出专门用于诊断胸部X射线的任务注意力机制，以及尝试使用高效视觉变换器（EfficientVision Transformer，EfficientViT）进行多标签分类的工作。通过将MXA模块嵌入EfficientViT架构并采用知识蒸馏，我们提出的模型在广泛用于多标签胸部X射线异常检测基准测试的CheXpert数据集上显著提升了性能。我们的方法在曲线下面积（AUC）方面达到了0.85，与基线模型的AUC（0.66）相比，绝对提高了0.19，相当于随机猜测（AUC = 0.5）相对改进约233%。
arXiv:2504.02260v1 交叉类型: cross
摘要: 通过可微编程的混合神经物理建模框架已经逐渐成为科学机器学习中强大的工具，它们通过将已知的物理知识与数据驱动的学习相结合，提高预测准确性和泛化能力。然而，大多数现有的混合框架依赖于显式的循环公式，这在长时间尺度预测中会导致数值不稳定性和误差累积。在这项工作中，我们引入了Im-PiNDiff，这是一种用于稳定和准确建模时空动力学的新颖隐式物理整合神经可微求解器。受深 equilibrium模型的启发，Im-PiNDiff 使用隐式固定点层推进状态，使其能够实现稳健的长时间模拟，同时保持全程端到端可微。为了实现可扩展的训练，我们引入了一种混合梯度传播策略，该策略结合了伴随状态方法与逆向模式自动微分。该方法消除了存储中间求解器状态的需要，并将内存复杂度与求解器迭代次数解耦，显著减少了训练开销。我们进一步采用检查点技术来管理长时间段滚动中的内存。在各种时空偏微分方程系统上的数值试验，包括对流-扩散过程、Burgers 动力学和多物理化学气相渗透过程，证明了 Im-PiNDiff 达到了优于显式和简单隐式基线的优越预测性能、增强的数值稳定性和显著降低的内存和运行时间成本。这项工作提供了一个原理明确、高效和可扩展的混合神经物理建模框架。
arXiv:2504.02254v1 宣告类型: cross
摘要：近期大型语言模型（LLMs）的发展不仅展示了惊人的创造性能力，还揭示了新兴的代理行为，这些行为利用语义模糊性在对抗性环境中进行操纵。在本研究中，我们调查了一个作为自主代理的LLM如何利用语义模糊性生成具有误导性的谜题，误导并挑战人类用户。受广受欢迎的益智游戏“连接”启发，我们系统地比较了通过零样本提示、角色注入的对抗性提示以及人工创建的例子产生的谜题，重点在于理解底层代理决策过程。利用 HateBERT 进行计算分析以量化语义模糊性，并结合主观的人类评估，我们证明了明确的对抗性代理行为显著增加了语义模糊性——从而增加了解谜的认知负担，并降低了解谜的公平性。这些研究结果为大型语言模型的新兴代理特质提供了关键见解，并突显了评估和安全部署自主语言系统的重要伦理考虑，尤其是在教育技术和娱乐领域。
arXiv:2504.02252v1 Announce Type: 跨领域
摘要：从模拟到现实的实际增强学习（RL）面临着一个关键挑战，即协调模拟和现实世界动力学之间的差异，这可能会严重降低智能体的表现。一种有希望的方法是学习作为残差误差函数表示的模拟器前向动力学的修正，然而这种方法在高维状态，如图像的情况下是不切实际的。为了解决这个问题，我们提出了一种名为ReDRAW的方法，这是一种针对模拟预训练并在通过潜状态动力学的残差修正来校准目标环境的自动回归世界模型。使用这种适应后的世界模型，ReDRAW使RL智能体能够在修正后的动力学条件下进行想象中的滚动优化，并然后部署到现实世界中。在多个基于视觉的MuJoCo领域和一个Physical机器人视觉车道跟随任务中，ReDRAW有效地模拟了动力学的变化，并避免了在传统迁移方法失败的低数据条件下过拟合。
arXiv:2504.02234v1 宣言类型：交叉
摘要：准确且可验证的大语言模型（LLM）模拟人类研究对象有望提供一个易于访问的数据来源，以帮助理解人类行为并训练新的AI系统。然而，迄今为止的结果是有限的，很少有社会科学家采用这些方法。在本文中，我们认为通过解决五个可处理的挑战，可以实现LLM社会模拟的潜力。我们通过文献综述中的实证比较研究、关于该主题的评论以及相关工作来支撑我们的论点。我们确定了基于提示、微调和互补方法的有前途的方向。我们认为，LLM社会模拟已经可以用于探索性研究，例如心理学、经济学、社会学和市场营销领域的初步实验。随着LLM能力的迅速发展，更广泛的应用可能很快成为可能，研究人员应优先开发可以与持续的AI进步同步迭代部署和完善的概念模型和评估方法。
arXiv:2504.02231v1 声明类型: cross
摘要: 个性化图像生成允许用户保留所提供的一小组图像的风格或主题，以便进一步的图像生成。随着大型文本到图像模型的发展，已经开发出了许多有效微调这些模型以实现个性化的方法，例如低秩适应（LoRA）。然而，基于LoRA的方法通常会面临调整秩参数以达到满意结果的挑战。为了解决这一挑战，提出了AutoComponent-LoRA（AC-LoRA），它可以自动分离LoRA矩阵的信号分量和噪声分量，以实现快速高效的个性化艺术风格图像生成。该方法基于奇异值分解（SVD）和动态启发式更新训练中的超参数。该方法在克服模型欠拟合或过拟合问题方面的表现优于现有方法得到了验证。使用FID、CLIP、DINO和ImageReward进行的结果验证，平均提高了9%。
arXiv:2504.02221v1 Announce Type: cross
摘要：提出了一种新颖的学习方法，结合了在线和离线方法的特点，在利用并行超级计算机的处理能力的过程中实现了在学习跳棋价值函数任务中的显著性能。离线方法包括一组用于并行化神经网络训练和$TD(\lambda)$强化学习的技术；在此基础上，引入了大规模并行的在线策略改进技术——蒙特卡洛“展开”(Rollouts)，它将资源应用于搜索游戏树过程中遇到的决策点，进一步增强了学习的价值函数估计。在短短的学习期内，达到了与当前冠军级人类和计算机跳棋玩家大致相当的水平，甚至可能更好。
arXiv:2504.02211v1 声明类型: cross
摘要：Transformer模型利用自注意力机制捕捉复杂的依赖关系，在各种应用中表现出色。然而，模型推理所需的长时间高负载计算对计算平台提出了严格可靠性的要求，因为执行过程中发生的软错误会显著降低模型性能。现有的容错方法通过解耦内核分别保护每个操作，导致巨大的计算和内存开销。在本文中，我们提出了一种用于Transformer模型的新型容错框架，结合端到端容错注意力（EFTA）以提高在软错误影响下的推理可靠性。我们的方法在完全融合的注意力内核中进行错误检测和纠正，减少了冗余数据访问，从而减轻了内存故障的影响。为了进一步增加错误覆盖范围并减少开销，我们设计了一种针对EFTA的混合容错方案，引入了以下创新内容：1）基于架构感知算法的容错（ABFT），使用张量校验和来最小化在检测错误时张量核心之间的线程间通信开销；2）选择性神经元值限制，选择性地对神经元值应用自适应的容错约束，以平衡错误覆盖范围和开销；3）统一验证，重用校验和将多个计算步骤合并为一个验证过程。实验结果显示，EFTA在传统方法上实现了高达7.56倍的加速，平均容错开销为13.9%。
arXiv:2504.02199v1 宣告类型: cross
摘要：随着对深度学习中隐私问题的担忧不断增长，个人越来越担心他们个人知识在训练模型中可能被利用。尽管已经进行了多项研究努力来解决这一问题，但它们往往未能考虑到用户在现实世界中要求完全知识擦除的需求。此外，我们的研究发现现有的方法存在通过嵌入特征泄露个人知识的风险。为了解决这些问题，我们提出了一种新的知识删除（KD）概念，这是一种全面考虑两个问题的高级任务，并提供了一个名为知识保留得分（KR）的合适度量标准，用于评估特征空间中的知识保留。为此，我们提出了一种新的无训练删除方法，名为 Erasing Space Concept（ESC），它通过消除特征中的相关激活来限制需要遗忘的知识的重要子空间。此外，我们提出了 ESC with Training（ESC-T），它使用可学习的掩码来更好地在 KD 中平衡遗忘与保留知识之间的权衡。我们在各种数据集和模型上的大量实验表明，我们提出的方法实现了最快的和最先进的性能。值得注意的是，我们的方法适用于多种遗忘场景，例如面部域设置，这表明了我们方法的普适性。代码可在 http://github.com/KU-VGI/ESC 获取。