arXiv:2403.16149v5 宣布类型: replace-cross
摘要：消费者物联网（CIoT），作为物联网（IoT）领域的一个重要细分市场，涉及将物联网技术整合到消费电子产品和设备中，如智能家居和智能穿戴设备。与传统的IoT领域相比，CIoT在目标用户、产品类型和设计方法上有着显著的不同。尽管为用户提供了便利，但也引发了新的安全和隐私问题。网络安全社区广泛使用的网络流量分析技术已被广泛应用，以研究CIoT的相关安全和隐私问题。与手机应用程序和网站等领域中的传统网络流量分析相比，CIoT引入了独特的特点，带来了新的挑战和研究机会。研究者在这个领域做出了显著的贡献。为了帮助研究者理解流量分析工具在评估CIoT安全和隐私风险中的应用，本文回顾了2018年1月至2024年6月期间发表的310篇关于CIoT安全和隐私领域的流量分析论文，重点回答了三个研究问题。我们的工作：1)概述了CIoT的流量分析过程，并强调了其与一般网络流量分析的不同之处。2)总结并根据应用目标将现有研究归类为四类：设备指纹识别、用户活动推断、恶意流量检测和测量。3)基于CIoT的流量分析过程的每个步骤，探讨了新兴的挑战和潜在的未来研究方向。这将为社区提供新的见解，并引导行业朝着更安全的产品设计方向发展。
arXiv:2403.01695v3 Announce Type: replace-cross
摘要：传统的深度学习（DL）模型压缩和扩展方法侧重于修改模型的组件，对所有样本产生均匀的影响。然而，由于样本的难度不同，一种基于样本复杂度动态调整计算的动态模型为压缩和扩展提供了新的视角。尽管如此，现有的动态模型通常是单一的且特定于模型的，限制了它们作为广泛的压缩和扩展方法的通用性。此外，大多数部署的DL系统是固定的，在部署后无法调整其规模，因此不能适应不断变化的实时需求。本文介绍了DyCE，这是一种在运行时可以无需重新初始化或重新部署在推理硬件上调整DL模型的性能-复杂性trade-off的动态可配置系统。DyCE通过在原始模型的中间层添加小型退出网络实现这一目标，允许在获得可接受的结果时提前终止计算。DyCE还解耦了高效动态模型的设计，便于新的基础模型适应，并有可能在压缩和扩展中广泛应用。我们还提出了生成优化配置和确定退出网络类型及位置的方法，以实现所需的性能和复杂性trade-off。通过简单的配置切换，DyCE提供实时的精细粒度性能调节。我们通过使用深度卷积神经网络（CNNs）进行图像分类任务，展示了DyCE的有效性。DyCE在ImageNet中分别将ResNet152和ConvNextv2-tiny的计算复杂性减少了23.5%和25.9%，准确率损失不到0.5%。
arXiv:2312.05114v5 通告类型: replace-cross
摘要：生成模型产生合成数据旨在提供一种隐私友好的数据发布方法。然而，只有当模型满足差分隐私（DP）时，其隐私保证才被认为具有鲁棒性。遗憾的是，这并没有成为普遍的标准，因为许多知名企业（实际上，许多研究论文）使用基于合成数据与真实数据的统计相似性测试的自定义隐私度量标准。
在这篇论文中，我们考察了实际部署中的隐私度量标准，并以多种方式证明了它们的可靠性问题。首先，我们提供了反例，即使隐私测试通过，严重的隐私泄露仍然会发生，并且能够以极低的成本实施精确的成员身份和属性推理攻击。我们还介绍了ReconSyn，这是一种重构攻击，它生成多个被认为是私有的合成数据集，但实际上泄露了个体记录的独特信息。我们展示了ReconSyn在仅具有单个拟合生成模型和隐私度量的黑盒访问的情况下，可以恢复训练数据中78-100%的异常值。在这个过程中，我们证明了仅对模型应用差分隐私并不能缓解这种攻击，因为使用隐私度量会破坏端到端的差分隐私管道。
arXiv:2309.04522v3 声明类型: replace-cross
摘要：人工神经网络在近年来革新了机器学习，但其学习过程的完整理论框架仍缺乏。虽然在宽网络中取得了实质性进展，但这些进展是在两个截然不同的理论框架内实现的：神经 tangent 核（NTK），假定梯度下降动力学线性化，以及贝叶斯神经网络高斯过程（NNGP）。我们通过在宽深网络的集成中引入梯度下降学习和额外的噪声，统一了这两种理论。我们构建了网络输入-输出函数的分析理论，并引入了新的时间依赖性神经动力核（NDK），从中推导出 NTK 和 NNGP 核。我们识别出两个学习阶段：一个由梯度驱动的学习阶段，主要由损失最小化主导，时间尺度由初始化方差控制。之后是一个缓慢的扩散学习阶段，参数对解空间进行采样，时间常数由噪声和贝叶斯先验方差决定。这两个方差参数在两种体制中都会强烈影响性能，特别是在 sigmoid 单元中。与初始阶段平均预测器的指数收敛不同，向平衡的收敛过程更为复杂，可能表现出非单调性。通过表征扩散阶段，我们的工作揭示了大脑中表示漂移的现象，解释了如何在保证性能的情况下，通过持续的梯度信号同步不同突触的漂移，或者通过架构偏见生成在漂移过程抵抗的与任务相关的稳健信息，从而使神经活动连续变化。我们的工作填补了 NTK 和 NNGP 理论之间的空白，提供了一个全面的深度宽神经网络学习过程框架，并为生物电路中的动态分析提供了理论基础。
arXiv:2305.00046v2 通告类型: replace-cross
摘要: 肺癌是全球癌症相关死亡的主要原因之一，早期检测对于改善患者预后至关重要。然而，在资源有限的地区，早期诊断癌症是一个重大挑战，特别是在医疗资源和训练有素的放射科医生有限的情况下。本研究旨在提出一个自动端到端基于深度学习的框架，用于肺结节的早期检测和分类，特别是针对资源有限的地区。所提出的框架包括三个阶段：使用一个修改后的3D U-Net（称为3D Res-U-Net）进行肺部分割、使用YOLO-v5进行结节检测，以及使用基于Vision Transformer的架构进行分类。我们使用公开可用的数据集LUNA16对提出的框架进行了评估。使用相应的评估矩阵测量了提出的框架的表现。所提出的框架在分割肺部方面达到了98.82%的肺分割Dice分数，并在分割出的肺中以0.76 mAP@50的检测肺结节，具有较低的假阳性率。将提出的框架中两个网络的性能与其他研究进行了比较，发现在分割和检测准确性方面优于其他研究。此外，我们提出的Vision Transformer网络取得了93.57%的准确率，比最先进的网络高出1.21%。所提出的端到端基于深度学习的框架可以有效地分割肺部，检测和分类肺结节，特别是在资源有限、放射科医生访问受限的地区。提出的框架在所有相应的评估指标上均优于现有研究。提出的框架有可能提高资源有限地区的肺癌筛查的准确性和效率，最终有助于改善患者的预后。
arXiv:2303.12484v5 更新类型: 替换交叉
摘要：深度学习在医学影像分析（MIA）中取得了显著进展，在多种临床任务中达到了最先进的性能。然而，其成功很大程度上依赖于大型、高质量的标注数据集，这些数据集由于需要专家注释而获取成本高且耗时。为解决这一限制，已出现了标签高效深度学习方法，通过利用标注数据、未标注数据和弱标注数据，以有限监督提高模型性能。在此综述中，我们系统地回顾了超过350篇同行评审的研究，并对MIA中的标签高效学习方法进行了全面的分类。这些方法被分类为四种标注范式：无标签、标签不足、标签不精确和标签精炼。对于每类，我们分析了各成像模态和临床应用中的代表性技术，强调了共通的方法学原则和任务特定的适应性。我们还探讨了健康基础模型（HFMs）在通过大规模预训练和迁移学习实现标签高效学习中的日益重要作用，从而增强有限标注在下游任务中的使用。最后，我们识别了当前挑战和未来方向，以促进将标签高效学习从研究前景转化为日常临床护理。
arXiv:2208.03571v3 宣告类型: replace-cross
摘要：数据关联是任何遵循检测跟踪范式的多对象跟踪（MOT）方法中的一个关键组成部分。为了生成完整的轨迹，这类方法在每个时间步长中使用数据关联过程来建立检测和现有目标之间的分配。近期的数据关联方法试图解决多维线性分配任务，或网络流最小化问题，或者通过多假设跟踪来解决这个问题。然而，在推理过程中，对于每一帧序列，都需要一个优化步骤来计算最优分配，这增加了任何给定解决方案的复杂性。为此，在本研究的背景下，我们引入了基于Transformer的数据分配决策网络（TADN），该网络在推理过程中不需要显式的优化过程来处理数据关联问题。特别是，TADN可以直接在一个网络的前向传播过程中推断检测和活跃目标之间的分配对。我们已经在相对简单的MOT框架中集成了TADN，并设计了一种新的训练策略，用于高效的端到端训练，并在几个流行的基准测试上，即MOT17、MOT20和UA-DETRAC，展示了我们方法在在线视觉跟踪-检测MOT方面的高潜力。我们提出的方法在大多数评估指标中表现出强大的性能，尽管其作为一种缺乏显著辅助组件（如遮挡处理或再识别）的简单跟踪器。我们的方法的实现已公开发布在 https://github.com/psaltaath/tadn-mot。
arXiv:2505.03989v2 宣告类型：更换
摘要：如果AI系统在广泛的任务上达到了或超过了人类的能力，人类可能难以有效地判断其行为——这使得使用人类反馈来引导它们朝向可取的品质变得困难。一个提议的解决方案是利用另一个超级人类系统通过辩论来指出该系统输出中的缺陷。本文概述了辩论在AI安全方面的价值，以及使其发挥作用所需的前提和进一步的研究。它通过绘制一个“对齐安全性案例”来实现这一点——这是一个论证，表明尽管AI系统能够自行采取可能导致严重伤害的行动，它也不会自主采取这样的行动。这个概要集中在AI研发代理在一家AI公司内部进行科研破坏的风险上，例如通过产生虚假结果。为了防止这种情况，代理通过辩论训练，受到探索保证的约束，以教导系统诚实。在整个部署过程中，通过在线训练保持诚实。安全性案例基于四个关键主张：（1）代理在辩论游戏中变得非常出色，（2）在辩论游戏中表现良好意味着系统主要是诚实的，（3）在部署过程中，系统不会显著失去诚实性，（4）部署环境能够容忍一些错误。我们确定了一些如果解决这些问题，这将使这一论证成为一个令人信服的论点，证明AI系统是安全的。
arXiv:2505.03961v2 公告类型：替换
摘要：根据尤瓦尔·诺亚·哈拉里（Yuval Noah Harari）的观点，大规模的人类合作是由包含共同信念和价值观的共享叙述驱动的。本研究探讨这些叙述是否可以类似地促使语言模型（LLM）代理趋向合作。我们使用了一个有限重复的公共物品博弈，在此博弈中，LLM 代理可以选择合作或利己的支出策略。我们将代理器引导至不同程度强调团队合作的故事，并测试这种引导如何影响谈判结果。我们的实验探索了四个问题：（1）叙述如何影响谈判行为？（2）当代理共享相同的故事与不同故事时，结果有何不同？（3）随着代理数量的增长，会发生什么？（4）代理对自利谈判者有何抵抗力？我们发现基于故事的引导显著影响了谈判策略和成功率。共同的故事提高了合作程度，使每个代理受益。相反，引导代理听不同的故事会逆转这一效果，听利己故事的代理占据上风。我们假设这些结果对多代理系统设计和人工智能对齐具有重要意义。
arXiv:2505.02665v2 公告类型: 替换
摘要：本文综述了近期在设计模仿“慢思考”的大型语言模型（LLMs）方面的进展。“慢思考”是一种灵感来源于 Kahneman 的《思考，快与慢》中描述的人类认知过程的推理过程。这些模型，如 OpenAI 的 o1，专注于在复杂任务（如数学推理、视觉推理、医疗诊断和多代理辩论）期间动态扩展计算资源。本文概述了推理 LLM 的发展并列出了其关键技术。通过综合分析超过100项研究，本文描绘了结合人类般的深度思考与可扩展效率的推理 LLM 的发展路径。该综述将方法分为三类：(1) 测试时动态调整计算量，根据任务复杂度通过搜索和采样、动态验证来调整计算；(2) 强化学习通过迭代改进，利用策略网络、奖励模型和自进化策略来精化决策；以及 (3) 慢思考框架（例如，长链推理、分层过程），这些框架在可控步骤中结构化解决问题。本文强调了该领域的挑战和进一步发展方向。理解并推进 LLM 的推理能力对于解锁其在现实世界应用中的全部潜力至关重要，从科学研究到决策支持系统。