在领域自适应中，存在两种流行的范式：无监督领域自适应 (UDA)，它使用源数据对齐分布；以及免源领域自适应 (SFDA)，它利用预训练的源模型而无需访问源数据。评估 UDA 与 SFDA 的优劣是一个开放且及时的课题，对在实际应用中部署自适应算法具有重大意义。本研究通过预测编码理论和对多个基准数据集的大量实验表明，SFDA 在现实场景中通常优于 UDA。具体来说，SFDA 在时间效率、存储需求、目标学习目标、降低负迁移风险以及提高抗过拟合能力方面具有优势。值得注意的是，当源域和目标域之间存在大量分布差异时，SFDA 在减轻负迁移方面尤其有效。此外，我们引入了一种新颖的数据-模型融合场景，其中利益相关者之间的数据共享有所不同（例如，一些提供原始数据，而另一些只提供模型），并揭示了传统的 UDA 和 SFDA 方法在这种情况下并未充分发挥其潜力。为了解决这一限制并利用 SFDA 的优势，我们提出了一种新颖的权重估计方法，该方法有效地将可用的源数据整合到多 SFDA (MSFDA) 方法中，从而提高了该场景下的模型性能。这项工作对 UDA 与 SFDA 进行了彻底的分析，并提出了一种在各种现实环境中进行模型自适应的实用方法。
针对特定任务微调大型语言模型（LLM）会带来隐私风险，因为模型可能会无意中记住和泄露敏感的训练数据。虽然差分隐私 (DP) 提供了一种减轻这些风险的解决方案，但它会带来巨大的计算和性能权衡，尤其是在使用标准微调方法时。以前的工作主要集中在全参数更新上，这在计算上非常密集，并且可能无法充分发挥大型模型中 DP 的潜力。在这项工作中，我们通过研究差分隐私约束下的参数高效微调 (PEFT) 方法来解决这些缺点。我们表明，PEFT 方法可以实现与标准微调相当的性能，同时只需要较少的参数并显著减少隐私泄露。此外，我们加入了一个包含故意错误标记的数据投毒实验，以评估模型记忆并直接衡量隐私风险。我们的研究结果表明，PEFT 方法不仅提供了一种有前景的替代方案，而且还可以作为一种补充方法，用于实现大型语言模型的隐私保护、资源高效的微调。
本研究调查了训练数据质量与数量对小型语言模型 (SLM) 性能的相对影响，并利用 TinyStories 数据集进行了实证分析。分析了数据集大小（原始大小的 25% 和 50%）和重复率（25%、50%、75% 和 100% 的受控重复率）的变化。模型性能基于验证损失、准确率和困惑度指标进行评估。结果表明，训练数据质量对 SLM 的整体性能起着更重要的作用，尤其是在本实验的规模下。少量重复数据对模型准确率有积极影响（重复率为 25% 时准确率提高了 0.87%），而困惑度没有显著增加（从 0% 到 25% 的重复率，困惑度增加了 0.52%），但过度重复会导致性能显著下降（重复率为 100% 时准确率下降了 40%）。这项研究的意义超越了模型性能本身；大型模型的训练会带来巨大的经济和计算负担，这对于组织、个人和广大公众来说都是难以承受的，尤其是在发展中国家。此外，大规模训练相关的能源消耗也引发了环境问题。理解数据质量与数量的相对重要性可以使人工智能技术民主化，使先进模型更易于获取，并对所有人更具可持续性。
基于Transformer的多目标跟踪(MOT)方法近年来受到了众多研究者的关注。然而，这些模型由于其结构或其他问题，往往存在推理速度慢的缺点。为了解决这个问题，我们回顾了以往的方法，重新审视了联合检测与跟踪(JDT)方法。通过将原始JDT方法与一些先进理论相结合，本文采用了一种有效的帧间信息传递方法，在DETR上构建了一个快速新颖的JDT型MOT框架：FastTrackTr。由于这种信息传递方法的优越性，我们的方法不仅减少了跟踪过程中所需的查询次数，而且避免了网络结构的过度引入，确保了模型的简洁性。实验结果表明，我们的方法具有实现实时跟踪的潜力，并在多个数据集上展现出具有竞争力的跟踪精度。
在连续控制领域，深度强化学习（DRL）展现出令人鼓舞的结果。然而，DRL 对深度神经网络 (DNN) 的依赖导致了对大量数据和增加计算复杂度的需求。为了解决这个问题，本文提出了一种用于Actor-Critic强化学习 (RL) 算法的新型混合架构。该架构将广义学习系统 (BLS) 与 DNN 集成，旨在融合两种不同架构范式的优势。具体来说，评论家网络使用 BLS 实现，而行动者网络则使用 DNN 构建。对于评论家网络参数的估计，采用岭回归，而行动者网络的参数则通过梯度下降进行优化。通过将该算法应用于两个经典的连续控制任务来评估其有效性，并将其性能与广为人知的深度确定性策略梯度 (DDPG) 算法进行比较。数值结果表明，该算法在计算效率方面优于 DDPG 算法，并具有更快的学习轨迹。建议在未来的研究中探索将该算法应用于其他 Actor-Critic RL 算法。
非侵入式负荷监测 (NILM) 致力于将家庭总用电量分解为各个电器设备的用电情况。许多先进的 NILM 方法基于神经网络，这些神经网络通常需要大量的带标签的电器数据，而在现实环境中收集这些数据可能具有挑战性且成本高昂。我们假设并非所有家庭的电器数据都对 NILM 模型的改进同等贡献。因此，我们提出了一种主动学习方法，以选择性地在有限数量的房屋中安装电器监控器。这项工作首次对使用主动学习策略选择电器级数据以优化 NILM 性能进行了基准测试。我们首先开发了用于 NILM 的不确定性感知神经网络，然后在分解不确定性最高的房屋中安装传感器。通过在公开可用的 Pecan Street 数据端口数据集上对我们的方法进行基准测试，我们证明了我们的方法明显优于标准随机基线，并实现了与在整个数据集上训练的模型相当的性能。使用这种方法，我们在大约 30% 的数据量下实现了相当的 NILM 准确性，并且对于固定数量的传感器，我们观察到与随机采样相比，分解误差降低了高达 2 倍。
大型语言模型 (LLM) 的快速发展彻底改变了自然语言处理，从而对高效的、特定任务的微调方法的需求日益增长。传统的 LLM 微调涉及更新大量参数，这在计算上代价高昂且内存密集。低秩自适应 (LoRA) 已成为一种很有前景的解决方案，通过减少可训练参数的数量来实现参数高效的微调。然而，虽然 LoRA 减少了可训练参数的数量，但 LoRA 模块仍然带来了巨大的存储挑战。我们提出了 LoRA-Mini，这是一种优化的 LoRA 自适应方法，它通过将低秩矩阵分成四个部分来提高参数效率，其中只有两个内部矩阵是可训练的。这种方法与标准 LoRA 相比，可训练参数的数量减少了高达 20 倍，同时保持了与标准 LoRA 相当的性能水平，解决了 LLM 微调中的计算效率和存储效率问题。
磁共振成像（MRI）和计算机断层扫描（CT）是诊断复杂疾病必不可少的临床横断面成像技术。然而，用于深度学习的大型三维数据集及其标注却十分匮乏。虽然像DINOv2这样的方法在二维图像分析方面令人鼓舞，但这些方法尚未应用于三维医学图像。此外，由于其“黑盒”性质，深度学习模型往往缺乏可解释性。本研究旨在将二维自监督模型，特别是DINOv2，扩展到三维医学影像，同时评估其产生可解释结果的潜力。我们引入了医学切片Transformer（MST）框架，以适应三维医学图像分析的二维自监督模型。MST将Transformer架构与二维特征提取器（即DINOv2）相结合。我们在三个临床数据集上评估了其诊断性能，与三维卷积神经网络（3D ResNet）进行对比：乳腺MRI（651例患者）、胸部CT（722例患者）和膝关节MRI（1199例患者）。两种方法都用于诊断乳腺癌、预测肺结节良恶性和检测半月板撕裂。通过计算受试者工作特征曲线下面积（AUC）来评估诊断性能。通过放射科医生对基于切片和病灶正确性的显著性图进行定性比较来评估可解释性。使用Delong检验计算P值。在所有三个数据集中，MST的AUC值均高于ResNet：乳腺（0.94±0.01 vs. 0.91±0.02，P=0.02）、胸部（0.95±0.01 vs. 0.92±0.02，P=0.13）和膝关节（0.85±0.04 vs. 0.69±0.05，P=0.001）。与ResNet相比，MST的显著性图始终更精确，并且在解剖学上更准确。像DINOv2这样的自监督二维模型可以使用MST有效地适应三维医学影像，与卷积神经网络相比，它提供了更高的诊断准确性和可解释性。
多媒体内容和流媒体是现代信息交流的主要手段，对其服务的需求日益增长。这与未来B5G/6G无线网络的进步以及智能手持移动设备的普及相结合，促进了多媒体内容对异构移动用户的可用性。除了传统的视频外，随着虚拟现实应用的兴起，360°视频也越来越受欢迎。所有格式的视频（传统视频和360°视频）都经过处理、压缩和传输，跨越带宽受限的动态无线信道以促进流媒体服务。这会导致视频损伤，从而导致质量下降，并对向观众提供良好的用户体验 (QoE) 构成挑战。QoE 是评估多媒体服务的一个重要的主观质量指标。这需要端到端的 QoE 评估。高效的多媒体流媒体技术可以在应对动态网络和最终用户挑战的同时提高服务质量。以基于机器学习 (ML) 的 QoE 建模和流媒体策略为重点，用户为中心的多媒体服务正在发生范式转变。这篇综述论文全面概述了用于多媒体服务 QoE 管理的整体和连续、时变 QoE 建模。它还考察了智能和自适应多媒体流媒体策略的最新研究，特别强调了基于 ML 的视频（传统视频和 360°视频）流媒体技术。本文讨论了用于优化最终用户观看体验的整体和连续 QoE 建模，重点关注用户为中心策略的高效视频流媒体，以及用于建模和流媒体的相关数据集，以及现有的不足和开放性挑战。
在这项工作中，我们系统地探讨了机器学习系统中数据集剪枝的数据隐私问题。我们的研究结果首次揭示，即使冗余集中的数据仅在模型训练之前使用，其剪枝阶段的成员身份仍然可以通过攻击被检测到。由于这是一个完全位于模型训练之前的上游过程，传统的基于模型输出的隐私推断方法完全不适用。为了解决这个问题，我们引入了一个名为数据中心成员推断的新任务，并提出了第一个数据中心隐私推断范式，称为数据血统推断 (DaLI)。在这个范式下，提出了四种基于阈值的攻击方法，分别命名为 WhoDis、CumDis、ArraDis 和 SpiDis。我们表明，即使没有访问下游模型，对手也可以仅凭有限的先验知识准确识别冗余集。此外，我们发现不同的剪枝方法涉及不同程度的隐私泄露，即使是相同的剪枝方法在不同的剪枝比例下也可能存在不同的隐私风险。我们对这些现象进行了深入分析，并引入了一个名为“充盈分数”的指标，为选择具有隐私保护功能的剪枝方法提供指导。