arXiv:2502.07218v1 宣告类型: cross
摘要：大型语言模型（LLMs）因其训练数据量越来越大而受益，但因此也增加了泄露私人信息的风险。因此，从LLMs中选择性地移除知识的能力变得非常重要。在本文中，我们提出了LUNAR，一种基于线性表示假设的新颖遗忘方法。LUNAR通过将未学习数据的表示重定向到触发模型固有能力表达其无法回答的问题的区域来工作。LUNAR在PISTOL数据集上实现了最先进的遗忘性能，并显著增强了推理过程中未学习模型的可控性。具体而言，在各种基础模型上，LUNAR在“遗忘有效性”和“模型实用性”得分（“偏差分数”）的综合评估上实现了2.9到11.7倍的改进。我们还通过定量分析和定性示例展示了LUNAR在生成连贯且上下文相关的响应方面具有优越的可控性，能减轻现有方法的不良副作用。此外，我们展示了LUNAR在对抗白盒攻击时的鲁棒性，并且适用于处理实际场景，如处理序列遗忘请求。
arXiv:2502.07216v1 类型: cross
摘要：近年来，高分辨率宽视角(HRW)图像和视频捕获系统及其基准的数量不断增加。然而，与MS COCO数据集中的人像镜头不同，更高分辨率和更广阔的视野带来了独特的挑战，如极端稀疏性和巨大的尺度变化，导致现有的近景检测器在准确性上不够准确且效率低下。在本文中，我们提出了一种新颖的模型agnostic稀疏视觉变换器，命名为SparseFormer，以弥合近景镜头和HRW镜头之间对象检测的差距。所提出的SparseFormer有选择地使用注意力令牌来仔细检查可能包含物体的稀疏分布窗口。通过这种方式，它可以联合探索全局和局部注意力，通过融合粗粒度和细粒度特征来处理巨大的尺度变化。SparseFormer还受益于一种新颖的跨切片非极大值抑制(C-NMS)算法，能够精确定位来自嘈杂窗口的对象，并采用一种简单而有效的多尺度策略来提高准确性。在两个HRW基准PANDA和DOTA-v1.0上的广泛实验显示，所提出的SparseFormer相对于现有最先进的方法在检测准确率（高达5.8%）和速度（高达3倍）上有了显著的提升。
arXiv:2502.07214v1 类别:交叉研究
摘要：在决策系统中，算法归因旨在识别最少成本的动作来改变个体特征，从而获得期望的结果。这使个人能够理解、质疑或改变对其产生负面影响的决策。然而，由于系统环境和个体性格的多样性和敏感性，在考虑多种标准的情况下，量化单一函数的成本几乎是不可能的。目前大多数归因机制使用基于梯度的方法，假设成本函数可微，但在实际场景中往往不适用，导致妥协各种标准的次优解。这些解决方案通常难以处理且缺乏严谨的理论基础，从可解释人工智能（XAI）的角度来看，这引发了关于可解释性、可靠性和透明度的担忧。
为了解决这些问题，本文提出了一种处理非可微和离散多成本函数的算法归因框架。通过将归因形式化为多目标优化问题，并根据其重要性为不同标准分配权重，我们的方法识别出帕累托最优的归因建议。为了证明扩展性，我们引入了ε-网的概念，证明了能够找到近似的帕累托最优动作。实验结果显示了不同标准之间的权衡，并展示了该方法在大规模图中的扩展性。与当前的启发式方法相比，我们的方法提供了更强大的理论基础，并更好地与实际要求对齐归因建议。
arXiv:2502.07213v1 Announce Type: 跨类型
摘要：本文探讨了在不断演化的数据流中进行回归分析的挑战，这一领域相较于分类来说相对较少被探索。我们提出了一种标准化的评估流程，用于流式环境下的回归和预测区间任务。此外，我们引入了一种创新的漂移模拟策略，能够合成各种类型的漂移，包括较少研究的增量漂移。在我们提出流程下的全面实验，验证了我们方法的有效性和稳健性。
arXiv:2502.07207v1 声称类型: cross
摘要：高级持续威胁（APTs）对组织和行业构成了显著的安全风险。这些攻击常常导致严重的数据泄露，并且长期占据系统的控制权。由于APTs的隐蔽性和持久性，缓解这些复杂的攻击极具挑战性。机器学习模型经常被用来应对这一挑战，通过自动化和扩展性来提高APT检测能力。然而，这些智能化的方法依赖于输入数据的质量和相关性，因此受到了很大影响。本文旨在分析记录网络流量时考虑的测量指标，并确定哪些特征对检测APT样本贡献更大。为此，我们研究了与各种APT案例相关的特征，并使用机器学习框架来确定它们的重要性。为了确保我们的发现具有普适性，我们采用了多种特征选择技术，并与不同的分类器配对，以评估它们的有效性。我们的发现为在实际场景中如何增强APT检测提供了见解。
arXiv:2502.07205v1 声学事件类型: cross
摘要：回声 Speech 混响过程退化后的语音信号，包含无回声源语音和房间冲激响应 (RIR) 的关键知识。本文提出了一种基于神经语音先验 (VINP) 的变分贝叶斯推断 (VBI) 框架，用于联合去混响和盲RIR识别。在VINP中，基于卷积传输函数 (CTF) 近似，在时频 (T-F) 域构建了一个概率信号模型。首次提出使用任意判别去混响深度神经网络 (DNN) 在概率模型中预测无回声语音的先验分布。通过结合回声语音和无回声语音先验，VINP 分别提供了无回声语音频谱和 CTF 滤波器的最大后验 (MAP) 估计和最大似然 (ML) 估计。经过简单的变换，无回声语音和 RIR 的波形被估计出来。此外，VINP 对自动语音识别 (ASR) 系统有效，使其区别于大多数基于深度学习 (DL) 的单通道去混响方法。单通道语音去混响实验表明，VINP 在与人类感知相关的大多数指标上达到了先进水平，并在与 ASR 相关的指标上展现了无可争议的最新技术水平 (SOTA)。对于盲RIR识别，实验表明 VINP 在 60 dB 时的回声时间 (RT60) 和直接到达与回声比 (DRR) 的盲估计方面达到了 SOTA 水平。代码和音频样本可在网上获取。
arXiv:2502.07194v1 交叉公告类型：交叉
摘要：密集物体检测在自动驾驶、视频 surveillance 等领域中得到了广泛应用。本文专注于密集物体检测这一具有挑战性的任务。目前，基于贪婪算法的检测方法，如非极大值抑制（NMS），在密集场景中经常会生成许多重复预测或漏检，这是基于 NMS 的算法面临的常见问题。通过端到端的 DETR（DEtection TRansformer），作为一种可以将 NMS 等后处理去重能力整合到网络中的检测器，我们发现基于查询的检测器中同质查询导致了网络去重能力和编码器学习效率的下降，从而产生了重复预测和漏检问题。为了解决这一问题，我们提出了可学习的差异化编码以去除了查询中的同质性，并且通过差异化编码信息使查询之间能够相互交流，替代了之前查询之间的自我注意机制。此外，我们使用了同时考虑位置和置信度预测的联合损失在编码器输出上进行计算，为查询提供了一个更高质量的初始化。在没有复杂的解码器堆叠且保证准确性的前提下，我们提出的一体化检测框架更为简洁，并且相比可变形 DETR 参数减少了约 8%。我们的方法在具有挑战性的 CrowdHuman 数据集上取得了优异的结果，平均精度（AP）为 93.6%，MR-2 为 39.2%，JI 为 84.3%。与之前的 SOTA 方法（如 Iter-E2EDet（渐进式端到端目标检测）和 MIP（一个提案，多次预测））相比，我们的方法在各种不同密度的场景中表现更为稳健。
arXiv:2502.07184v1 交叉学科类型:
摘要: 如何缓解大型语言模型（LLMs）的幻觉一直是LLMs研究社区追求的基本目标。经过大量关于幻觉的相关研究，一种主流的方法是通过优化LLMs的知识表示来改变它们的输出，从而减少幻觉。鉴于这些工作的核心关注点是模型获得的知识，而知识长期以来一直是人类社会进步的核心主题，我们认为模型提炼知识的过程可以从人类的学习方式中大大受益。在我们的工作中，通过模仿人类的学习过程，我们设计了一种适应性对比学习策略。该方法根据LLMs实际掌握的知识，灵活构建不同的正样本和负样本进行对比学习。这种策略有助于LLMs巩固它们已经掌握的正确知识，加深对已遇到但尚未完全掌握的正确知识的理解，忘记之前学过的错误知识，并诚实地承认自己缺乏的知识。在广泛使用的数据集上的大量实验和详细的分析表明了我们方法的有效性。
arXiv:2502.07179v1 公告类型：交叉
摘要：绝缘子是电力网络中的关键绝缘组件和结构支撑，在传输线中发挥着重要作用。由于温度变化、内部应力或冰雹造成的损坏，绝缘子容易受损。自动检测受损绝缘子面临着多种类型、小缺陷目标、复杂背景和形状等挑战。大多数关于检测绝缘子缺陷的研究集中在单一缺陷类型或特定材料上。然而，电力网络传输线上的绝缘子有不同的颜色和材料。各种绝缘子缺陷共存，现有的方法难以满足实际应用要求。当前的方法在检测准确性方面存在不足，mAP0.5 无法满足应用要求。本文提出了一种改进的 YOLOv7 模型用于多种类型绝缘子缺陷检测。首先，我们的模型将 SPPCSPC 模块替换为 RFB 模块，以增强网络的特征提取能力。其次，在头部部分引入了 CA 机制，以增强网络的特征表示能力并提高检测准确性。第三，采用 WIoU 损失函数来解决训练过程中低质量样本阻碍模型泛化的问题，从而提高模型的整体性能。实验结果表明，所提出模型在各种性能指标上有所改进。具体而言，mAP_0.5 提高了 1.6%，相应的 mAP_0.5:0.95 提高了 1.6%，精度提高了 1.3%，召回率提高了 1%。此外，该模型实现了参数减少 320 万，导致计算成本降低了 2.5 GFLOPS。值得注意的是，单张图像检测速度也提高了 2.81 毫秒。
arXiv:2502.07175v1 安全操作类型: 交叉
摘要：高压输电线路的安全运行确保了电力系统的安全性。附着在输电线路上的各种外来物体，例如气球、风筝和筑巢鸟类，会对高压输电线路的安全和稳定运行产生显著影响。随着计算机视觉技术的进步，定期进行自动检测是高效且必要的。由于输电线上附着的外来物体复杂多样，包括遮挡、多种物体类型、显著的尺度变化以及复杂的背景，现有的检测方法准确性较低。针对中国南方电网有限责任公司云南分公司实际需求，本文提出了一种基于改进的YOLOv8m模型，用于输电线路上的外来物体检测。实验在云南电网收集的数据集上进行。所提出的模型通过将全局注意力模块（GAM）集成到骨干网络中，以集中关注遮挡的外来物体，用SPPCSPC模块替换SPPF模块来增强模型的多尺度特征提取能力，并引入Focal-EIoU损失函数以解决高质量和低质量样本不平衡的问题。这些改进加快了模型的收敛速度并提高了检测精度。实验结果表明，所提出的模型在mAP_0.5上提高了2.7%，在mAP_0.5:0.95上提高了4%，在召回率上提高了6%。