arXiv:2501.19203v1 Announce Type: cross
摘要:上皮细胞会形成从扁平球状类器官到紧密堆积的假复层组织等多样化的结构。在这些背景下量测细胞属性需要高分辨率的深层成像和计算技术,以实现真实的三维(3D)结构特征。本文描述了一种详细且分步的样品制备、成像和深度学习辅助细胞分割协议,以实现对活体组织内荧光标记单个细胞的准确量化。我们在解决果蝇翅膀盘的三维成像问题中学习到的经验教训,包括显微镜模态和设置(物镜、样品装载)以及可用的分割方法的选择。此外,我们还提供了一个计算管道和定制代码,以帮助复制该协议。虽然我们专注于从膜标记中分割细胞轮廓,但该协议适用于各种样品,并且我们相信它对于研究需要三维复杂分析的其他组织具有重要价值。
arXiv:2501.19201v1 交叉公告类型
摘要:Chain-of-Thought (CoT) 理论已成为改善多模态大型语言模型 (MLLMs) 复杂问题解决能力的一个强大框架。然而,文本推理的冗长性引入了显著的低效率。在本文中,我们提出了一种高效的推理框架 $\textbf{Heima}$(隐藏的Llama),该框架利用在隐藏潜空间中的CoT推理。我们设计了Heima编码器,使用单个思考令牌将每个中间CoT压缩成一个紧凑的高层隐藏表示,从而有效减少冗长性并减少推理过程中所需的整体令牌数量。同时,我们设计了相应的Heima解码器,与传统的大型语言模型 (LLMs) 相结合,以适应方式解释隐藏表示为可变长度的文本序列,重构与原始CoT接近的推理过程。在多种多模态推理 MLLM 基准测试中的实验结果表明,Heima模型在保持甚至提高零样本任务准确性的同时实现了更高的生成效率。此外,Heima解码器对多模态推理过程的有效重构证实了我们方法的鲁棒性和可解释性。
arXiv:2501.19195v1 声明类型: cross
摘要:机器学习分类器通常会生成对于各种领域中的准确且可解释决策至关重要的概率预测。这些预测的质量通常通过交叉熵等适当的损失进行评估,这种损失可以分解为两个部分:校准误差评估一般性的过度自信或欠自信,而修正误差衡量区分不同类别的能力。在本文中,我们提供了理论和实验证据表明,在训练过程中这两个错误并非同时被最小化。基于验证损失选择最佳训练周期因此会导致一个在两个校准误差和,更关键的是,修正式误差上都不最优的折衷点。为了解决这一问题,我们提出了一个新的早期停止和超参数调整的度量标准,使在训练过程中最小化修正式误差成为可能。校准误差在训练后通过标准技术最小化。我们的方法可以无缝集成到任何架构中,并在多种分类任务中一致地提高性能。
arXiv:2501.19191v1 安全通信类型: 交叉
摘要:本文介绍了一种用于5G网络中的无人驾驶飞机(UAV)和地面站的安全通信架构,解决了网络安全性中的关键挑战。所提出的解决方案将高级加密标准(AES)与椭圆曲线加密(ECC)和CRYSTALS-Kyber结合用于密钥封装,提供了一种混合加密方法。通过引入CRYSTALS-Kyber,该框架缓解了ECC在量子攻击下的漏洞,将其定位为量子抗性的替代方案。该架构基于服务器-客户端模型,UAV作为客户端,地面站作为服务器。该系统在虚拟专用网络(VPN)和5G环境中进行了严格的评估。实验结果证实,CRYSTALS-Kyber在最小性能开销的情况下提供了强大的量子威胁防护,使其非常适合资源受限的UAV。此外,所提出的架构结合了基于人工智能(AI)的入侵检测系统(IDS),进一步提高了安全性。在性能评估中,IDS在多种模型中表现突出,特别是在XGBoost模型中,在更苛刻的场景中表现出色,准确率为97.33%,AUC为0.94。这些发现强调了结合量子抗性加密机制与AI驱动的IDS创建坚固、可扩展和安全的UAV网络通信架构的潜力,特别是在5G环境的高要求中。
arXiv:2501.19180v1 Announce Type: 对抗
摘要:大型语言模型(LLMs)在广泛的应用中起到了关键作用,但仍然容易受到释放攻击的威胁,这可能导致生成不适当的回答。传统的防御方法,如拒绝和对抗训练,通常无法涵盖边缘情况或稀有领域,使LLMs仍然容易受到更复杂的攻击。我们提出了一种新颖的防御策略——安全思维链(SCoT),该策略利用LLMs增强的**推理能力**,主动评估有害输入,而不只是简单地阻止它们。SCoT将任何拒绝训练的数据集增强,以在生成答案之前仔细分析每个请求的意图。通过采用主动推理,SCoT增强了LLMs在不同类型有害询问和未包含在安全对齐语料库中的场景中的泛化能力。此外,它还会生成详细的拒绝回答,说明违反了哪些规则。比较评估显示,SCoT显著优于现有防御措施,减少了对域外问题和对抗操纵的脆弱性,同时保持了强大的通用能力。
arXiv:2501.19176v1 交叉公告类型
摘要:全视野数字乳腺摄影(FFDM)是乳腺癌筛查的主要成像技术;然而,它在密实乳腺组织或纤维囊性病变患者中的有效性有限。对比增强光谱乳腺摄影(CESM),作为一种次级成像技术,能够提高肿瘤检测的准确性。然而,由于辐射暴露较高、使用对比剂以及可及性有限,其应用受到了限制。因此,CESM通常仅用于特定病例,许多患者只能依赖FFDM进行筛查,尽管CESM的诊断性能更优。虽然活检仍然是确诊的金标准,但其是一种侵入性操作,可能会给患者带来不适。我们提出了一种基于多模态、多视角的深度学习方法,结合FFDM和CESM模态在矢状位和斜位视图下对病变进行恶性或良性分类。为应对CESM数据缺失的挑战,我们利用生成式人工智能从FFDM扫描中补全CESM图像。实验结果表明,在虚拟活检中整合CESM模态对提升其性能至关重要。当实际CESM数据缺失时,合成的CESM图像表现有效,优于单独使用FFDM,特别是在FFDM和CESM模态组合的多模态配置中。我们提出的方案有潜力改善诊断流程,为临床医生提供增强智能工具以提高诊断准确性和患者护理质量。此外,作为对研究社区的贡献,我们公开发布了在实验中使用的数据集,以促进该领域的进一步发展。
arXiv:2501.19155v1 类型:跨域
摘要:领域迁移是严重影响机器学习性能的关键问题。无监督域适应(UDA)可以缓解这一问题,但在领域迁移陡峭剧烈时会受到限制。渐进域适应(GDA)通过使用多个中介域逐步从源域适应到目标域,以温和的方式缓解了这一问题。在本文中,我们提出了一种名为滑动窗口对抗训练(SWAT)的方法,用于渐进域适应。SWAT 使用对抗流的构建来连接源域和目标域的特征空间。为了逐步缩小相邻中介域之间的微小差距,设计了一种滑动窗口范式,该范式沿着对抗流移动。当窗口移动到流的末端即目标域时,领域迁移会大幅度减少。在公开的GDA基准上进行了广泛的实验,结果证明所提出的SWAT显著优于现有方法。实现代码可在以下网址获取:https://anonymous.4open.science/r/SWAT-8677。
arXiv:2501.19149v1 交叉类型:
摘要: 我们计算了深线性ResNet的最小范数权重,并发现此架构的归纳偏置位于最小核范数和最小秩之间。这表明,适当调整超参数后,深非线性ResNet的归纳偏置倾向于最小化瓶颈秩。
arXiv:2501.19145v1 宣告类型: 跨越性
摘要: 在多标签学习中,利用对比学习学习更好的表示面临着一个关键挑战:选择正样本和负样本以及有效地利用标签信息。之前的研究基于标签之间的重叠来选择正样本和负样本,并使用它们来实现标签级别的损失平衡。然而,这些方法遭受了复杂的选择过程,并且未能考虑不同标签的重要性差异。为了解决这些问题,我们提出了一种新方法,通过标签分布改进多标签对比学习。具体来说,在选择正样本和负样本时,我们只需要考虑标签之间是否有交集。为了建模标签之间的关系,我们引入了两种方法,分别基于径向基函数(RBF)和对比损失从逻辑标签恢复标签分布。我们在包括图像和向量数据在内的九个广泛使用的多标签数据集上评估了我们的方法。结果表明,我们的方法在六个评估指标中均优于现有最佳方法。
arXiv:2501.19137v1 宣布类型: cross
摘要:分子图学习利用了分子结构及其结构附带特征中的信息。迄今为止,人们在这方面做了大量工作,偏向于结构或特征,目的是使偏向有助于性能的提升。确定数据集更倾向于哪种信息源,以及因此如何处理该数据集的问题仍然存在。在此,我们提出了噪声-噪声比率差异 (NNRD),这是一种定量指标,用于判断结构或特征中哪个包含更多有用信息。通过独立地对特征和结构进行迭代噪声处理,使另一方保持不变,NNRD 测量每个信息量的退化情况。我们在一系列分子任务中应用了 NNRD,并展示了其与信息丢失对应良好,得到了比简单性能聚合更直观且更具表达性的结果。我们未来的工作将重点扩展数据领域、任务和类型,并精炼我们的基线模型选择。