arXiv:2504.19595v2 宣布类型: 替换-跨平台
摘要：合成图像源归属是一个开放性的挑战，每年都有越来越多的图像生成器被发布。生成技术的复杂性和数量众多，以及缺乏高质量的多样化开放式数据集来完成这项任务，使得训练和基准测试合成图像源归属模型变得非常具有挑战性。WILD 是一个全新的野外图像链接数据集，旨在为合成图像归属模型提供强大的训练和基准测试工具。该数据集基于10个流行的商业生成器组成的封闭集，这些生成器构成了归属模型的训练基础，以及10个额外的开放集生成器，模拟了现实世界中的野外场景。每个生成器包含1000张图像，总共1万个图像在封闭集中，1万个图像在开放集中。其中一半的图像经过了广泛的操作的后处理。WILD 允许在广泛的任务中基准测试归属模型，包括封闭集和开放集的识别和验证，以及对抗后处理和对抗性攻击的稳健归属。在 WILD 上训练的模型有望受益于数据集本身所代表的具有挑战性的场景。此外，还展示了七种基线方法在封闭集和开放集归属方面的评估，包括对抗后处理的稳健性测试。
arXiv:2504.19373v2 公告类型: replace-cross
摘要：随着如ChatGPT o3这类具代理性的多模态大型推理模型能力的不断增强，隐私泄露通过不经意的图像地理定位变得愈加关键。在本文中，我们首次系统地并受控地研究了ChatGPT o3的视觉推理能力潜在隐私风险。我们手动收集并构建了一个包含50张真实世界图像的数据集，这些图像包含个人以及与隐私相关环境元素，捕捉了实际且敏感的场景以供分析。实验评估表明，ChatGPT o3能够以高精度预测用户位置，在60%的情况下达到街区级精度（误差在一英里以内）。通过对这些图像的分析，我们发现关键视觉线索，包括街道布局和前院设计，显著促进了模型推理的成功。此外，针对性的遮挡实验表明，掩盖关键特征能够有效降低地理定位精度，提供了潜在防御机制的见解。我们的发现强调了对于具代理性的多模态大型推理模型的隐私意识开发的迫切需求，尤其是在涉及私人图像的应用中。
arXiv:2504.19333v2 任务类型: 替换交叉
摘要: 使用大规模语言模型（LLMs）来防止不良行为的趋势正在增加，并且已经展示了对审查用户输入的潜力。然而，增加的延迟、内存消耗、托管费用和非结构化的输出可能会使其使用变得不可行。
在这项工作中，我们展示了任务特定的数据生成可以导致显著优于当前最先进的方法（SoTA）的微调分类器，同时其大小比当前方法小了几个数量级。其次，我们展示了使用一个模型 \texttt{MultiTaskGuard}，该模型在大量合成生成的数据集上预训练，具有独特的任务说明，进一步提高了泛化能力。第三，我们使用我们提出的基于搜索的方法合并单策略模型和多策略护栏模型来找到最佳参数组合的方法，从而发现性能最佳的模型 \texttt{UniGuard}。我们在这项工作中，在7个公开数据集和4个护栏基准上创建的高效护栏分类器相比于最出色的公开可用的LLM和第三方护栏API，在检测不安全和安全行为方面平均提高了29.92个F1分数（相对于Aegis-LlamaGuard）和21.62个F1分数（相对于\texttt{gpt-4o}）。最后，我们使用定制的任务特定护栏策略生成合成数据的过程进一步增强了这一效果。
arXiv:2504.19323v2 通告类型: 替换-交叉
摘要：神经符号AI（NSAI）是一种新兴范式，它将神经网络与符号推理相结合，以提高AI系统的透明度、推理能力和数据效率。由于NSAI系统在推理任务和人机合作场景中的出色表现，最近它们受到了广泛关注。尽管在算法方面取得了这些进展，但在现有硬件（例如，CPU、GPU、TPU）上执行NSAI任务仍然具有挑战性，因为这些硬件具有异构的计算内核、高内存强度以及独特的内存访问模式。此外，当前的NSAI算法在操作类型和规模上表现出显著差异，这使得它们与现有的机器学习加速器不兼容。这些挑战突显了针对NSAI工作负载设计灵活且多功能加速框架的必要性。在本文中，我们提出了NSFlow，这是一种基于FPGA的加速框架，旨在实现NSAI系统中的高效率、可扩展性和多功能性。NSFlow 配备了设计架构生成器，能够识别工作负载数据依赖关系并创建优化的数据流架构，同时具有可重构阵列，其特征包括灵活的计算单元、可重构的内存以及混合精度能力。在NSAI工作负载上的评估表明，NSFlow 在性能上比 Jetson TX2 快 31 倍，比 GPU 快 2 倍以上，比类似 TPU 的 systolic 数组快 8 倍，比 Xilinx DPU 快 3 倍以上。此外，NSFlow 还展示了增强的可扩展性，当符号工作负载增加 150 倍时，运行时间仅增加了 4 倍。据我们所知，NSFlow 是第一个允许实时通用 NSAI 算法加速的框架，展示了下一代认知系统中具有前景的解决方案。
arXiv:2504.19013v2 宣告类型: replace-cross
摘要：物理启发式神经网络（PINNs）是一种解决具有嘈杂和稀疏初始和边界数据的偏微分方程（PDEs）的新颖计算方法。尽管在大规模问题中高效地量化认识性和统计性不确定性仍具挑战性。我们提出了一种新的方法 \$PINN，通过结合局部贝叶斯物理启发式神经网络（BPINN）和域分解，使用贝叶斯框架计算PDEs中的全局不确定性。通过在相邻子域接口处施加通量连续性来获得子域间解的连续性。为了证明 \$PINN 的有效性，我们在一维和二维空间域上的PDE上进行了一系列计算实验。尽管我们采用了保守的 PINNs (cPINNs)，该方法可以无缝扩展到其他域分解技术。结果表明，所提出的方法通过并发地计算每个子域中的不确定性更有效地计算了全局不确定性。通过向训练数据中添加最多15％的不相关随机噪声，并对不同大小的域进行测试，验证了 \$PINN 的稳健性。
arXiv:2504.18598v2 宣告类型: replace-cross
摘要：专家混合（MoE）已经成为大型语言模型（LLMs）的强大架构，能够在保持可管理计算成本的同时高效扩展模型能力。其关键优势在于能够将不同的令牌路由到模型内的不同“专家”网络中，实现专业化并高效处理多样化输入。然而，基于MoE的LLMs的脆弱性尚未得到充分研究，并且在此背景下的后门攻击的可能性仍未得到充分探索。本文首次对基于MoE的LLMs发起后门攻击，攻击者会毒化“潜伏的专家”（即未充分利用的专家），并通过优化路由触发器来激活它们，从而控制模型的输出。我们首先严格证明了MoE模型中存在少数“主导专家”，其输出可以决定整体MoE的输出。我们还展示了潜伏的专家可以作为主导专家来操控模型预测。因此，我们的攻击具体来说，名为BadMoE，通过利用MoE模型的独特架构1）识别与目标任务无关的潜伏专家，2）构建一种意识路由的损失函数，以优化这些专家的激活触发器，3）通过中毒训练数据将潜伏专家转化为主导角色。广泛的实验表明，BadMoE能够在保持整体模型效用的同时强制执行恶意预测，使其比现有方法更具威胁性和隐蔽性。
arXiv:2504.13754v2 诊断类型: 替换-交叉
摘要：神经母细胞瘤是一种来源于肾上腺的儿童最常见的实质恶性肿瘤，具有显著的临床异质性。及时且准确的从苏木精和伊红染色全切片图像中做出病理诊断，对患者的预后至关重要。然而，目前的诊断实践主要依赖于病理学家的主观手工检查，导致诊断准确性不一。现有的自动化全切片图像分类方法面临诸如差的可解释性、有限的特征提取能力和高计算成本等挑战，限制了它们在临床实践中的应用。为克服这些局限性，我们提出了一种名为CMSwinKAN的对比学习多尺度特征融合模型，该模型针对病理图像分类进行了定制，通过在其多层感知机和分类头模块中整合核激活网络，显著提高了可解释性和准确性。通过融合多尺度特征并利用对比学习策略，CMSwinKAN模仿了临床医生的全面方法，有效地捕捉了全局和局部组织特征。此外，我们引入了一种由临床洞察指导的启发式软投票机制，无缝地将.patch-级别预测桥接到全切片图像级别的分类。我们使用与合作伙伴医院共同建立的PpNTs数据集以及公开访问的BreakHis数据集验证了CMSwinKAN。结果显示，CMSwinKAN在大规模数据集上预训练的现有最先进的病理专用模型中表现更好。我们的源代码可在https://github.com/JSLiam94/CMSwinKAN获取。
arXiv:2504.13120v2 通知类型: 交叉替换
摘要：将现有概念组合成新的想法，是人类智能的基本特征之一。视觉-语言模型（VLMs）如GPT-4V和DALLE-3的最新进展引发了关于其输出是否体现了组合创造力的辩论，组合创造力这一概念由M.A.博登（1998）定义为通过结合现有概念来合成新的想法，或者是否仅仅是训练数据的高级模式匹配。借鉴认知科学的思路，我们从概念融合的视角研究VLMs的组合创造力。我们提出了识别-解释-暗示（IEI）框架，将创造过程分为三个层次：识别输入空间、提取共享属性和推导新的语义暗示。为了验证这一框架，我们编纂了CreativeMashup，这是一个高品质的数据集，包含了666个艺术家生成的视觉混搭作品，并根据IEI框架进行了注解。通过广泛的实验，我们证明，在理解任务中，最好的VLMs已经超越了平均水平的人类表现，但在专家级理解上仍有所欠缺；在生成任务中，将我们的IEI框架纳入生成流程显著提升了VLMs输出的创造性质量。我们的研究结果为评估人工智能的创造力提供了理论基础，并为提高VLMs的创造性生成提供了实用指南。
arXiv:2504.12397v2 通知类型: 交叉替换
摘要：低秩适应（LoRA）已成为一种高度高效的框架，用于微调大规模基础模型的权重，并已成为数据驱动定制LLM的首选方法。尽管自定义行为和能力的前景诱人，在多轮设置中切换相关的LoRA是高度低效的，因为在生成开始之前，整个对话历史的关键值（KV）缓存必须根据LoRA权重重新计算。为了解决这个问题，我们提出了一种激活LoRA（aLoRA），它修改了LoRA框架，仅适应序列中aLoRA被调用之后的令牌的权重。这一改变至关重要地使得aLoRA能够接受基础模型的输入字符串的KV缓存，这意味着aLoRA可以在链条中无论何时需要即时激活而无需重新计算缓存。这使得我们可以构建所谓的“固有特性”，即一种高度专门化的模型，用于在默认情况下使用基础模型的部分输入链或对话上执行定义良好的操作。我们使用aLoRA训练了一组固有特性模型，展示了与标准LoRA相当的准确性，同时实现了显著的推理优势。
arXiv:2504.10498v2 更新类型: 替换交叉
摘要：通过检索增强生成（RAG），大型语言模型（LLMs）在问答任务中的性能大幅提高，这带来了外部知识。然而，主要的挑战在于平衡LLMs的固有自我知识与外部信息检索（IR）之间的关系。当前的基于阈值的方法使用单一的静态机制和单一的标准。因此，在困难的查询下，它们的IR决策可能与LLMs的响应无关。为了解决这一问题，我们提出了认知自我知识传递（CCSK）。不同于传统方法仅保持单一固定的IR激活标准，CCSK通过Siamese网络模块和响应质量模型实现了一个动态联合决策过程。Siamese网络计算当前查询与历史查询之间的余弦相似度。响应质量模型通过LightGBM评估LLMs的响应。CCSK的最终决策来自两个模块的输出，以及使用多头注意力机制融合的文本特征。在真实世界数据集上的广泛实验表明，CCSK显著增强了模型在信息检索方面的有效性。