arXiv:2504.05615v1 宣告类型: cross
摘要: 去中心化学习（Federated Learning，FL）是一种具有强大功能的隐私保护分布式学习框架。它允许多个客户端协作训练一个全局模型，而无需分享原始数据。然而，由于数据分布异质性和通信约束，处理FL中的嘈杂标签仍然是一个主要挑战，这可能导致模型性能严重下降。为了应对这一问题，我们提出了FedEFC，这是一种新的方法，专门设计用于解决FL中嘈杂标签的影响。FedEFC通过两种关键技术来缓解这一问题：(1) 预停止，通过动态在最优点停止训练来防止模型过度拟合标签错误的数据；(2) 损失矫正，调整模型更新以考虑标签噪声。特别是，我们针对FL的独特挑战（包括数据异质性和分布式训练）开发了一种有效的损失矫正方法。此外，我们利用复合适当损失的性质，从理论上分析了在嘈杂标签分布下，FL的目标函数可以与干净标签分布对齐。广泛的经验研究验证了该方法的有效性，显示它在减轻嘈杂标签影响方面优于现有方法，尤其是在异质数据设置下（例如，相对于现有损失矫正方法，性能提升高达41.64%）。
arXiv:2504.05607v1 类型：交叉
摘要：提取式阅读理解系统旨在定位给定文本内的正确答案。然而，确保这些模型在回答问题时保持高准确率的同时，可靠地识别无法回答的问题查询依然是一大挑战。尽管在阅读理解领域的大语言模型（LLMs）方面取得了显著进展，这一问题依然至关重要，尤其是在支持的上下文长度不断增加的情况下。为应对这一挑战，我们提出了一种基于多代理协作框架的创新数据增强方法。与传统的需要大量人工标注的方法（如SQuAD 2.0数据集）不同，我们的方法自主生成基于证据的问题-答案对，并系统性地构建无法回答的问题。利用这种方法，我们开发了FactGuard-Bench数据集，其中包括25,220例可回答与不可回答的问题情景，上下文长度从8K到128K不等。在七个流行的LLM上进行的实验评估表明，即使是最先进的模型也只能达到61.79%的整体准确率。此外，我们强调模型能够推理不可回答的问题的重要性，以避免生成看似正确但实际上错误的答案。通过在多代理协作框架内实施高效的数据选择和生成，我们的方法显著降低了传统的手动标注高成本，并为LLM的训练和优化提供了宝贵的见解。
arXiv:2504.05591v1 Announce Type: cross
摘要：放射科医生在CT扫描中常规检测和量化病灶以分期癌症并评估肿瘤负荷。为了有可能辅助其努力，已经开发了多种病灶检测算法，并使用一个名为DeepLesion的大型公开数据集（包含32,735个病灶、32,120个CT切片、10,594个研究、4,427名患者和8个体部标签）。然而，这个数据集包含缺失的测量值和病灶标签，并且在每个标签类别中的病灶数量表现出严重的不平衡。在这项工作中，我们利用DeepLesion的有限子集（6%，1,331个病灶、1,309个切片，包含病灶注释和体部标签）来训练VFNet模型以检测病灶并对其进行标记。为了应对类别不平衡，我们进行了三项实验：1) 通过体部标签平衡数据，2) 通过每名患者病灶数量平衡数据，和3) 通过病灶大小平衡数据。与随机采样的（不平衡的）数据子集相比，我们的结果显示，平衡体部标签总是提高了病灶≥1cm的类别（数据量较少）的灵敏度（骨质：80% vs. 46%，肾脏：77% vs. 61%，软组织：70% vs. 60%，骨盆：83% vs. 76%）。其他三种模型（FasterRCNN、RetinaNet、FoveaBox）测试也呈现出相似的趋势。通过病灶大小平衡数据也有助于VFNet模型在所有类别中提高召回率，而与不平衡数据集相比则表现出色。我们还提供了一个结构化的报告指南，用于在放射科报告的“发现”部分中填写“病灶”子部分。据我们所知，这是首次报告关于DeepLesion的类别不平衡情况，并且我们已经采取了数据驱动的方法来解决这个问题，特别是在联合病灶检测和标记的背景下。
arXiv:2504.05588v1 交叉公告类型
摘要：在科学和工程应用中，控制复杂动力系统的不稳定性具有挑战性。深度强化学习（DRL）在不同科学应用中的应用中显示出有希望的结果。控制任务的多查询性质要求与底层物理的实时环境进行多次交互。然而，从实验中收集通常是稀疏的，或者对复杂动力学进行模拟是昂贵的。作为替代方案，通过使用代理建模来控制可以缓解计算成本问题。然而，在离线训练下快速而准确的学习模型使得在混沌动力学中很难获得准确的点动力学。为了弥合这一差距，当前工作提出了一种多保真度强化学习（MFRL）框架，利用差分混合模型进行控制任务，其中基于物理的混合模型通过有限的高保真数据进行校正。我们还提出了一种基于频谱的奖励函数用于RL学习。所提出的框架的效果在物理中的两种复杂动力学中得到了展示。MFRL控制结果的统计信息与高级保真环境的多查询评估计算结果匹配，并优于其他SOTA基准。
arXiv:2504.05586v1 类型:交叉
摘要：稀疏激活的专家混合理论（SMoE）在扩大神经网络的学习能力方面展现了潜力。然而，传统的SMoE存在专家冗余和高内存要求等问题，导致它们的效率低下且不具有可扩展性，尤其是在资源受限的场景中。专家级别稀疏化涉及剪枝不重要的专家以解决这些问题。在这项工作中，我们旨在回答三个问题：(1) 什么是最优方法来识别那些可以从性能影响最小的角度被删除的最不重要的专家子集？(2) 我们应该如何执行专家剪枝（一次性或迭代），并采取什么纠正措施来最小化其对SMoE子网络能力的严重影响？(3) 通过移除最不占主导地位的专家，SMoE的哪些能力受到了严重影响，我们如何恢复这些能力？首先，我们提出了一种专家压缩套件（MC-Suite），这是一个包含了一些先前探索和多个新方法的集合，旨在从不同角度提供专家重要性的综合基准，并揭示了大量关于SMoE专家的重要见解。其次，与先前使用一次性专家剪枝方法的研究不同，我们探索了通过重新评估MC-Suite准则来获取迭代剪枝的好处。此外，我们引入了任务无关的微调作为一种在迭代专家剪枝过程中进行纠正的机制，我们称其为SMoE彩弹子网络。最后，我们提出了一项实验验证的假说，即在专家剪枝过程中，SMoE的指令遵循能力受到了主要的损害，但可以通过使用k-shot示例和监督微调来进行外部增强以恢复到稳健的水平。
arXiv:2504.05585v1 类型: cross
摘要：强化学习(RL)中的 episodic 任务经常由于稀疏的奖励信号和高维的状态空间而面临挑战，这妨碍了高效的学习。此外，这些任务通常包含隐藏的“陷阱状态”——不可逆的失败状态，会阻止任务的完成，但不会提供明确的负面奖励来引导代理避免重复的错误。为了解决这些问题，我们提出了一种时间加权对比奖励学习(TW-CRL)，这是一种逆向强化学习(IRL)框架，它利用成功和失败的演示。通过结合时间信息，TW-CRL 学习一个密集的奖励函数，该函数能够识别与成功或失败相关的关键状态。这种方法不仅使代理能够避开陷阱状态，还鼓励在简单模仿专家轨迹的基础上进行有意义的探索。在导航任务和机器人操作基准测试上的实证评估表明，TW-CRL 超越了现有方法，实现了更高的效率和鲁棒性。
arXiv:2504.05576v1 声音类型：交叉
摘要：我们介绍了一种名为SoundVista的方法，用于从新视角生成任意场景的环境声音。给定来自稀疏分布麦克风的场景预先录制的录音，SoundVista可以从看不见的目标视角合成该场景的声音。该方法利用有限数量的已知录制，学习分布式麦克风获得的信号与目标视角信号之间的潜在声学传输函数。与现有工作不同，我们的方法不需要对声源的具体约束或先验知识。此外，我们的方法可以高效地适应多种房间布局、参考麦克风配置和未见环境。为了实现这一点，我们引入了一个视音频结合模块，该模块从全景RGB和深度数据中学习与局部声学属性链接的视觉嵌入。我们首先利用这些嵌入来优化任何给定场景中的参考麦克风放置位置。在合成过程中，我们利用从参考位置提取的多个嵌入，根据目标视角获取它们贡献的自适应权重。我们在公开数据和真实环境中对该任务进行了基准测试。我们展示了与现有方法相比的巨大改进。
arXiv:2504.05573v1 交叉类型: cross
摘要：密集向量集合的最近邻搜索在信息检索、检索增强生成（RAG）和内容排名等方面具有重要应用。对大型向量集合进行高效搜索是已经研究了很长时间的问题，有许多现有的方法和开源实现。然而，大多数最先进的系统通常针对使用大量内存的大服务器进行场景，固定且不可更新的向量集合，以及与其他搜索条件隔离的最近邻搜索。本文提出了Micro 最近邻（MicroNN），这是一种针对低资源环境下的可扩展相似性搜索设计的嵌入式最近邻向量搜索引擎。MicroNN解决了包含更新和结合最近邻搜索与结构化属性过滤的混合搜索查询的真实工作负载中，在设备上进行向量搜索的问题。在这种情况下，高内存约束要求使用内存高效的索引结构和算法，并且需要支持连续插入和删除。MicroNN 是一个可嵌入的库，可以在最少资源的情况下扩展到大型向量集合。MicroNN 现已投入生产，并在设备上支持广泛的向量搜索用例。MicroNN 使用大约 10 MB 的内存，在公开可用的百万级向量基准测试中检索到召回率为 90% 的前 100 个最近邻，耗时不到 7 毫秒。
arXiv:2504.05571v1 宣布类型：交叉
摘要：尽管大型语言模型（LLMs）在预训练过程中获得了大量的知识，但它们往往缺乏特定领域的新信息或专业信息。持续预训练（CPT）试图解决这一问题，但却面临灾难性遗忘和低数据环境下的低效率问题。我们提出了知识指令（Knowledge-Instruct）这一新型方法，以高效地通过纯粹的指令调优从有限的语料库中注入知识。通过生成信息密集型的合成指令数据，它有效地整合了新知识，同时保持了通用的推理和指令遵循能力。知识指令展示了出色的事实记忆能力，最小化了灾难性遗忘，并通过利用相对较小的语言模型的合成数据保持了可扩展性。此外，它还增强了上下文理解，包括复杂的多跳推理，从而促进了与检索系统的集成。我们通过多样化的基准测试验证了其有效性，包括一个新发布的数据集Companies，用于衡量知识注入能力。
arXiv:2504.05550v1 类型: cross
摘要：在机器人运动规划中利用先验经验的一种方法是将之前看到的问题的解决方案存储在路径数据库中。使用此类数据库的方法可以通过它们在新问题中查询路径的方式以及它们如何使用查询来进行分类。在本文中，我们提出了一种新的方法——路径数据库引导（PDG），并在两个方面革新了现有工作。首先，我们利用数据库计算一个启发式函数，用于确定搜索树中的哪些节点需要扩展，而之前的大多数工作则通常直接使用（可能经过变换的）查询路径或使用它来偏置采样分布。我们通过动态交错基本算法的探索与数据库指导的开发，证明了这种方法更容易与其他搜索方法进行结合。其次，与将数据库视为单一固定先验的其他方法不同，我们的数据库（因此，我们的查询启发式函数）随着我们在隐式定义的机器人配置空间中进行搜索而更新。我们在仿真中针对多种显式定义的环境分布实验性地展示了PDG的有效性。