arXiv:2505.05226v1 声明类型: cross
摘要: 综合算法选择和超参数优化（CASH）是自动机器学习（AutoML）领域中的一个具有挑战性的资源配置问题。我们提出了一种 MaxUCB，这是一种用于在探索不同模型类别和执行超参数优化之间进行权衡的最大 $k$-armed 游戏方法。MaxUCB 特别针对在该领域中出现的轻尾和有界奖励分布进行了设计，因此与假设奖励分布为重尾的经典最大 $k$-armed 游戏方法相比，提供了一个更高效的替代方案。我们在四种标准的 AutoML 基准上从理论上和实验上评估了我们的方法，表明其在性能上优于先前的方法。
arXiv:2505.05211v1 声明类型：交叉学科
摘要：本文探讨了激励感知机器学习（ML）这一新兴领域，该领域关注在个体可以通过战略性地修改其输入来影响结果的背景下进行算法决策。它将研究分为三个视角：鲁棒性，旨在设计对“游戏”具有抵抗力的模型；公平性，分析此类系统的社会影响；以及改进/因果性，认识到在某些情况下，战略性行为会导致真正的个人或社会改进。该论文引入了一个统一框架，涵盖了这些视角下的模型，包括离线、在线和因果设置，并强调了关键挑战，例如区分离开“游戏”和“改进”，以及处理不同代理的异质性。通过综合来自不同工作的成果，我们概述了对鲁棒性、公平性和因果性感知的激励感知ML系统进行理论突破和实用解决方案的方法。
arXiv:2505.05203v1 Announce Type: cross
摘要：随着可再生能源的高渗透率，传统的基于模型的电力系统运营面临着提供经济、稳定和稳健决策的挑战。机器学习作为一种强大的建模工具，已用于捕捉复杂的动态，以应对这些挑战。然而，其单独的设计往往缺乏与现有方法的系统性整合。为弥补这一差距，本文提出了一种综合框架，即学习增强的电力系统运营（LAPSO，发音为“拉普索”）。LAPSO 采用了原生优化的观点，专注于运行阶段，旨在打破时间上孤立的电力系统任务（如预测、运行和控制）之间的边界，同时在训练和推理阶段统一机器学习和基于模型的优化的目标。系统分析和仿真证明了在设计新的集成算法，如稳定性约束优化（SCO）和目标导向预测（OBF）时应用LAPSO的有效性，同时使不同来源的不确定性实现端到端的溯源。此外，还介绍了一个专用的Python包lapso，可自动增强现有电力系统优化模型中的可学习组件。所有代码和数据均在https://github.com/xuwkk/lapso_exp上提供。
arXiv:2505.05195v1 交叉类型：
摘要：概念瓶颈模型（CBMs）通过使用人类可理解的概念来解释预测，从而增强可解释性，但通常假设训练数据和测试数据共享相同的数据分布。这种假设在领域转移下往往无效，导致性能下降和泛化能力差。为了应对这些局限性并提高CBMs的鲁棒性，我们提出了基于概念的无监督领域适应（CUDA）框架。CUDA旨在：（1）通过对抗训练在不同领域对齐概念表示，（2）引入一个松弛阈值，允许概念分布中存在一定幅度的领域特异性差异，从而防止因过度约束这些分布而导致性能下降，（3）直接在目标领域推断概念，而无需要求标记的概念数据，使CBMs能够适应多种领域，（4）将概念学习整合到传统领域适应（DA）中，并提供理论保证，从而提高可解释性并为DA建立新的基准。实验表明，我们的方法在真实世界数据集上显著优于最先进的CBM和DA方法。
arXiv:2505.05190v1 交叉公告类型
摘要：文本水印旨在通过控制大型语言模型（LLM）的采样过程，微妙地将统计信号嵌入文本中，使水印检测器能够验证输出是否由指定的模型生成。这些水印算法的鲁棒性已成为评估其有效性的关键因素。当前的文本水印算法在高熵令牌中嵌入水印以确保文本质量。在本文中，我们揭示了这种看似无害的设计可以被攻击者利用，对水印的鲁棒性构成重大风险。我们引入了一种通用高效改写攻击，称为Self-Information Rewrite Attack（SIRA），通过计算每个令牌的自我信息来识别潜在的模式令牌并进行定向攻击。我们的工作揭示了当前水印算法中广泛存在的漏洞。实验结果表明，SIRA仅以每百万个令牌0.88美元的成本，在七个近期的水印方法上实现了几乎100%的攻击成功率。我们的方法不需要访问水印算法或水印后的LLM，并且可以无缝地转移到任何LLM作为攻击模型，甚至包括移动级别模型。我们的研究结果强调了对更鲁棒水印的迫切需求。
arXiv:2505.05189v1 类别: cross
摘要: 提示学习是将预训练的视觉-语言模型（VLMs）适应生物医学图像分类任务的最有效范式之一，在少量样本场景中。然而，当前大多数提示学习方法只使用文本提示，忽略了生物医学图像中的特定结构（如复杂的解剖结构和细微的病理特征）。在本工作中，我们提出了一种知识增强的双模态提示调优技术 Biomed-DPT。在设计文本提示时，Biomed-DPT 构建了包括模板驱动的临床提示和大语言模型（LLM）驱动的领域适应提示的双提示，然后通过知识蒸馏技术从领域适应提示中提取临床知识。在设计视觉提示时，Biomed-DPT 引入了零向量作为软提示，利用注意力重加权，从而避免了对非诊断区域的关注和非关键病理特征的识别。Biomed-DPT 在涵盖 9 种模态和 10 种器官的 11 个生物医学图像数据集上实现了平均分类准确率 66.14%，在基类上的性能达到了 78.06%，在新类上的性能为 75.97%，分别超过了 Context Optimization (CoOp) 方法 6.20%、3.78% 和 8.04%。我们的代码可在 \underline{https://github.com/Kanyooo/Biomed-DPT} 获取。
arXiv:2505.05181v1 宣布类型: cross
摘要: 反向传播（BP）是深度学习的基石，但其依赖全局梯度同步限制了其可扩展性并带来了显著的内存开销。我们提出了随机变分传播（SVP），这是一种可扩展的替代方法，将训练重新构想为层次变分推断。SVP 将每一层的激活视为潜在变量，并优化局部证据下界（ELBO），这使得局部独立更新成为可能，同时保持全局一致性。然而，直接在逐层的 ELBO 中应用 KL 发散风险因过度压缩导致层次之间的表示崩溃。为了防止这种情况，SVP 通过固定随机矩阵将激活投影到低维空间，从而确保信息保留和表示多样性。结合层间一致性的特征对齐损失，SVP 在各种架构（MLPs、CNNs、Transformers）和数据集（MNIST 至 ImageNet）上实现了与 BP 竞争的准确性，内存使用减少了多达 4 倍，并显著提高了可扩展性。更广泛地说，SVP 引入了对深层表示学习的概率视角，为更加模块化和可解释的神经网络设计打开了途径。
arXiv:2505.05170v1 Announce Type: cross
摘要：由于缺乏先进的分析工具，中小企业在数据驱动决策方面常常面临困难，尤其是在非洲国家，中小企业员工占劳动力的多数。虽然存在许多工具，但它们并未设计成符合小企业员工的工作方式，这些员工往往是移动优先的，没有太多时间学习新的工作流程，而对他们来说，社交和商业紧密相关。为了解决这一问题，开发了Dukawalla原型。该智能助手通过利用语音交互和生成式AI的力量，弥合了原始业务数据与可操作洞察之间的差距。Dukawalla为企业的负责人提供了一种直观的数据交互方式，有助于他们做出知情的决策。本文研究了Dukawalla在内罗毕中小企业中的部署情况，重点关注了他们使用基于语音的助手简化数据收集和提供业务洞察的经验。
arXiv:2505.05145v1 类型:跨学科
摘要:为了执行上下文学习，语言模型必须从少量几个示例中提取信号，将这些信号聚合为一个学习到的预测规则，然后将此规则应用于新示例。这在现代变压器模型的前向传播过程中是如何实现的？为了研究这一点，我们考虑了一类结构化的少量示例学习任务，其中真实的预测规则是对输入值加上一个整数 \(k\)。我们发现，Llama-3-8B 在不同 \(k\) 的范围内对该任务具有高准确率，并通过一种新的优化方法将少量示例的能力定位到仅三个注意力头中。进一步地，我们表明提取的信号位于一个六维子空间中，其中四维追踪个位数，另外二维追踪总体大小。最终，我们考察了这些头如何从单独的少量示例中提取信息，发现了早期示例中的错误被后续示例抑制的自我纠正机制。我们的研究结果表明，跨越前向传播跟踪低维子空间可以提供对精细计算结构的见解。
arXiv:2505.05138v1 交叉通知类型：剪枝方法
摘要：本研究探讨了一种使用进化计算的新型神经网络剪枝方法，重点关注同时剪枝自编码器的编码器和解码器。我们引入了两种新的变异算子，这些算子利用层激活来引导权重剪枝。研究结果表明，其中一种基于激活的变异算子优于随机剪枝，从而在保持与传统训练模型相似性能的同时实现了更高效的自编码器。以往的研究已经证明，使用空间协作演化算法协同演化编码器群体和解码器群体来训练自编码器既有效又可扩展，而不是训练一个自编码器。我们评估了在这一背景下，相同的行为指导变异算子的表现。我们发现，在协作演化设置中，随机剪枝优于行为指导剪枝。这表明，在低维剪枝环境中，基于激活的指导证明更为有效，因为受限的样例空间可能导致随机化偏离真正的均匀性。相反，群体驱动的策略通过扩展总的剪枝维度提高了稳健性，实现了统计意义上的均匀随机性，从而更好地保持了系统动力学。我们根据不同的时间表进行了剪枝实验，并在传统和协同进化的群体情况下提出了操作符和时间表的最佳组合。