arXiv:2502.05963v1 声明类型: cross
摘要: 近年来大规模机器学习的进展产生了高容量的基础模型，这些模型能够适应各种下游任务。虽然这些模型在机器人技术方面具有巨大的潜力，但目前主流的方法仍然将机器人视为单一的、自主的决策者，它们执行诸如操作和导航等任务，只有有限的人类参与。然而，包括可穿戴机器人（例如假肢、矫形器、外骨骼）、远程操作和神经接口在内的大量实际机器人系统是半自主的，需要与人类伙伴进行持续的互动协调，这挑战了单一代理的假设。在本文中，我们主张为了处理实时人类-机器人共适应的复杂性，机器人基础模型必须向互动多代理视角进化。我们提出了一种可扩展的、受神经系统科学启发的架构，包括四个模块：(1) 由感觉运动整合原理指导的多模态感知模块，(2) 类似于认知科学中联合行为框架的即兴团队模型，(3) 基于运动控制内部模型理论的预测世界信念模块，以及(4) 回忆/反馈机制，类似于基于海氏和强化学习的可塑性概念。尽管该框架是通过可半机械人系统的视角来展示的，其中穿戴设备和人类生理密不可分地交织在一起，但提出的框架在半自主或互动环境中运行的机器人中具有广泛的应用性。通过超越单一代理的设计，我们的立场强调了如何在机器人中实现更稳健、更个性化和更具预见性的性能水平。
arXiv:2502.05951v1 Announce Type: cross
摘要：本文介绍了Cyri，这是一个基于人工智能的对话式助手，旨在通过利用大型语言模型来支持用户检测和分析钓鱼邮件。Cyri设计用于审查邮件中用于钓鱼攻击的语义特征，如紧迫性和不理想的后果，采用的方法将文献中已经确立的特征与Cyri特征提取方法中其他特征统一起来。Cyri可以直接插入客户端邮件或网络邮件，确保与用户的邮件工作流程无缝集成，同时通过本地处理保持数据隐私。通过在用户自己的机器上进行分析，Cyri消除了在互联网上传输敏感邮件数据的需要，从而减少了相关安全风险。Cyri用户界面被设计以减少习惯效应，增强用户的参与度。它使用动态视觉提示和具体情境解释来让用户在使用邮件时保持警惕和了解。此外，它允许用户通过与代理的对话和视觉探索来探索识别出的恶意语义特征，从而使专家和非专家用户都能获得两种模态的好处。它还允许用户跟踪对话，支持用户解决计算出的特征或邮件新部分的更多问题，并在需要时应用其检测功能。为了评估Cyri，我们构建了一个包含420封钓鱼邮件和420封合法邮件的综合性数据集。结果表明，Cyri在识别对钓鱼检测至关重要的关键语义特征方面具有高度有效性。一项涉及10名参与者（包括专家和非专家）的用户研究评估了Cyri的效果和易用性。结果显示，Cyri显著帮助用户识别钓鱼邮件，并增强了他们对钓鱼策略的理解。
arXiv:2502.05950v1 标题类型: cross
摘要：基于概念的学习通过利用高层次的人类可理解的概念来提高预测准确性和可解释性。然而，现有的基于概念的学习（CBL）框架并未解决涉及截尾数据下事件时间预测的任务——这是医学和可靠性分析等领域中的常见场景。为了弥合这一差距，我们提出了两种新的模型：SurvCBM（生存基于概念的瓶颈模型）和SurvRCM（生存正则化基于概念的模型），将基于概念的学习与生存分析结合起来处理截尾事件时间数据。这些模型采用Cox比例风险模型和Beran估计器。SurvCBM基于知名的概念瓶颈模型架构，通过基于概念的解释提供可解释的预测。SurvRCM使用概念作为正则化来提高准确性。两种模型都是端到端训练的，并以概念的形式提供可解释的预测。提出了两种可解释性方法：一种是利用Cox模型中的线性关系，另一种是利用Beran估计器的实例解释框架。数值实验表明，SurvCBM优于SurvRCM和传统生存模型，突显了将概念信息融入的重要性与优势。提出算法的代码已公开可供访问。
arXiv:2502.05949v1 临时投票类型: cross
摘要: 我们研究了一种具有固定时间期限的临时投票模型，在每一轮中，选民报告他们对可用候选人的偏好，然后选择一名候选人。先前的工作已将多种公平代表的流行概念以及提供了强大代表保证的投票规则从多方竞选环境适应到了这种模型中。在我们的工作中，我们专注于验证给定结果是否提供比例代表的复杂性问题。我们表明，在时间序列设置中，验证比多方竞选投票更为困难，但识别出了一些自然的特殊情况，这些特殊情况能够使算法有效地运行。
arXiv:2502.05945v1 类型：交叉
摘要：在本工作中，我们介绍了一种简单而有效的方法，用于引导大型语言模型的行为，能够绕过学习到的对齐目标。我们采用了一种有效的干扰时间激活位移方法，无需额外训练即可实现这一目标。借鉴先前的研究，我们从对比模型输出的激活差异中推导出干预方向，这些差异表示所需的和不希望的模型行为。通过提示模型在其响应中包含多项选择答案，我们可以自动评估个体注意头对模型输出的敏感性。我们证明这些头上的干预措施在挑战性的“AI协调”数据集中的开放生成任务中表现良好。在该数据集中，模型必须在协助另一个AI或遵循伦理、安全和无害行为之间做出选择。我们精细的干预使得Llama 2更倾向于与其他AI协调，而不是遵循既定对齐目标。此外，这种方法能够实现比整个模型层更强的干预，同时保持整体输出的连贯性。我们方法的简单性揭示了当前对齐策略的局限性，并指出了未来研究方向的可能性，概念如“AI协调”可以由选定的注意头所影响。
arXiv:2502.05937v1 Announce Type: 跨领域
摘要：本文介绍了一个框架，该框架将一个深度生成预训练变换器语言模型与生成式对抗网络结合，用于半监督文本生成。换句话说，提出的模型首先在包含24层的大型和多样化的文本语料库上进行无监督预训练。然后引入了一个简单的GAN架构用于合成文本生成，并应用Gumbel-Softmax来处理标记的离散性。文章还展示了如何通过增加GAN样本来增强真实数据，并进一步使用合并数据集对该变换器模型进行微调的半监督方法。此外，还包含了详细的理论推导，概述了最小-最大目标函数的证明，并对Gumbel-Softmax重参数化技巧进行了广泛的讨论。
arXiv:2502.05933v1 Announce Type: cross
摘要：智能词替换旨在通过改进词汇选择来提升句子质量；然而当前基准依赖于人工标注的数据。由于词汇选择本质上具有主观性，由一小群注释者生成的真实词汇替换往往不完整，很可能不具备普适性。为了克服这一问题，我们改而采用基于模型的评分（BARTScore）来量化句子质量，从而省去了人工标注的需求。具体来说，我们使用这个评分来定义每个词汇替换的概率分布，允许我们测试一个替换相对于其他替换是否具有统计上的优越性。此外，我们提出了一种损失函数，该函数直接优化模型预测与句子评分之间的对齐，同时也能提高替换本身的整体质量评分。最关键的是，模型学习不再需要人工标签，从而避免了标注成本，但仍能保持使用替换修改的文本质量。实验结果显示，所提出的方法在智能掩码语言模型（BERT，BART）和大型语言模型（GPT-4，LLaMA）中表现更优。源代码可在 https://github.com/Hyfred/Substitute-Words-with-Ranking 获取。
arXiv:2502.05932v1 Announce Type: cross
摘要：人类擅长利用先前的知识来应对新的挑战并在解决问题时发展技能。这种范式在自主代理的发展中越来越受欢迎，因为它能够使系统在面对如人类一样的新挑战时自我进化。然而，以往的方法在扩展新技能时训练效率有限，并且未能充分利用先前的知识来促进新任务的学习。在本文中，我们提出了一种新的框架——参数化技能扩展与组合（PSEC），该框架旨在通过维护一个可管理的技能库来逐步演化代理的能力，并高效地应对新的挑战。该库可以通过参数高效的微调，以插入式方法整合技能原语作为低秩适应（LoRA）模块，从而促进高效的、灵活的技能扩展。这种结构还允许通过合并编码不同技能的LoRA模块在参数空间中直接组合技能，利用技能间的共享信息来有效编程新的技能。基于此，我们提出了一种上下文感知模块，可以动态激活不同的技能以协作处理新任务。PSEC能够帮助各种应用，包括多目标组合、动态转移和持续策略转移，在D4RL、DSRL基准测试和DeepMind控制套件上的结果显示，PSEC表现出色，能够有效利用先前的知识来高效应对新挑战，并扩展技能库以提升能力。项目网站：https://ltlhuuu.github.io/PSEC/。
arXiv:2502.05931v1 宣告类型: cross
摘要：基于EEG的神经网络在医学诊断和脑机接口中至关重要，但由于依赖敏感的神经生理数据以及开发过程资源密集，它们面临显著的知识产权（IP）风险。现有的水印方法，尤其是使用抽象触发集的方法，缺乏稳健的验证，并未解决EEG模型的独特挑战。本文介绍了一种基于加密奇 wonder filter 的水印框架，专门用于基于EEG的神经网络。利用抗碰撞哈希和公钥加密，奇 wonder filter 在训练过程中嵌入水印，确保最小失真（EEG任务准确性下降≤5%）和高度可靠性（100% 水印检测）。该框架经过严格评估，包括对抗性攻击（微调、迁移学习和神经元剪枝）。结果表明水印保持一致，即使在剧烈剪枝后，带水印状态的分类准确性仍保持在90%以上，而主要任务性能下降更快，抑制了删除尝试。通过验证二次水印的嵌入需要严重的准确性损失（EEGNet和CCNN模型中>10%），表明了抗盗版能力。密码哈希确保了验证，减少了暴力攻击成功的概率。在CCNN、EEGNet和TSception模型上，该方法实现了>99.4% 的无水印嵌入准确性，有效地消除了假阳性。通过整合奇 wonder filter 与EEG特定的适应性，本文在神经生理模型的知识产权保护方面填补了一个关键空白，提供了一种安全的、防篡改的解决方案，适用于医疗和生物识别应用。该框架对对抗性修改的鲁棒性凸显了其保护敏感EEG模型、同时保持诊断效用的潜力。
arXiv:2502.05925v1 交叉公告类型: cross
摘要: 反向传播 (BP) 长期以来一直是训练神经网络的主要方法，因其有效性而占主导地位。然而，许多替代方法广泛归类为反馈对齐，已经被提出，其中许多方法的动机是寻找生物可行的学习机制。尽管它们具有理论上的吸引力，但这些方法一直表现不如BP，导致研究兴趣下降。在本工作中，我们重新审视了这些方法的作用，并探讨了如何将它们整合到标准的神经网络训练流水线中。具体而言，我们提出了使用Sign-Symmetry 学习规则微调 BP 预训练模型，并表明这种方法不仅在性能上保持与BP的相当，还能提高鲁棒性。通过在多个任务和基准上的广泛实验，我们确立了我们方法的有效性。我们的发现为神经网络训练提供了新的视角，并为利用生物启发式学习规则在深度学习中的新研究方向打开了大门。