arXiv:2409.13997v1 公告类型: 新 摘要: 终身学习在人工智能（AI）中旨在模仿生物大脑持续学习和保留知识的能力，但面临着灾难性遗忘等挑战。最近的研究表明，生物系统中的神经活动会经历表征漂移，即神经响应会随着时间的推移而演变，即使输入和任务保持一致。我们假设表征漂移可以在新任务获取过程中缓解AI中的灾难性遗忘。为了验证这一点，我们引入了DriftNet，一种网络设计，旨在不断探索损失景观中的各种局部最小值，同时动态检索相关任务。这种方法确保了新信息的有效整合并保留现有知识。在图像分类和自然语言处理中的实验研究表明，DriftNet在终身学习中优于现有模型。重要的是，DriftNet在处理情感分析和问答等任务序列时具有可扩展性，能够在单个Nvidia A100 GPU上使用具有数十亿参数的大型语言模型（LLMs）。DriftNet仅使用新数据高效更新LLMs，避免了全数据集重新训练的需求。在GPT-2和RoBERTa上的测试表明，DriftNet是LLMs中终身学习的稳健且成本效益高的解决方案。本研究不仅推动了AI系统模拟生物学习，还为生物神经系统的适应机制提供了见解，加深了我们对自然界中终身学习的理解。
扩散模型（DMs）是一种先进的深度学习模型，在广泛的生成任务中达到了最先进的性能。然而，最近的研究表明，它们在面对后门攻击时存在脆弱性，即当模型的输入包含后门触发器时，被后门化的DMs会持续生成一个指定的结果（例如，有害图像），称为后门目标。尽管已经研究了多种后门技术来攻击DMs，但针对这些威胁的防御方法仍然有限且未充分探索，尤其是在反转后门触发器方面。在本文中，我们提出了PureDiffusion，一种新颖的后门防御框架，通过反转嵌入在DMs中的后门触发器，能够高效地检测后门攻击。我们在各种触发器-目标对上的广泛实验表明，PureDiffusion在保真度（即反转触发器与原始触发器的相似程度）和后门成功率（即反转触发器导致相应后门目标的比率）方面，显著优于现有的防御方法。值得注意的是，在某些情况下，PureDiffusion反转的后门触发器甚至比原始触发器具有更高的攻击成功率。
arXiv:2409.13939v1 公告类型: 新论文 摘要: 根据最近的研究，自监督学习（SSL）并不容易扩展到较小的架构。为了缓解这一缺陷，同时在没有标签的情况下训练较小的网络，一种方法是采用无监督知识蒸馏（UKD）。现有的UKD方法手工设计了教师和学生之间值得保留的样本间/样本内关系。然而，这可能会忽略/忽视教师映射中存在的其他关键关系。在本文中，我们不是通过启发式方法构建样本间的关系，而是直接激励学生模型教师嵌入流形。如果映射的流形相似，所有样本间/样本内的关系都会间接保留。我们首先证明，由于仅依赖于$L_2$归一化嵌入特征，先前的方法无法保留教师的潜在流形。随后，我们提出了一个简单的目标来捕捉由于归一化而丢失的信息。我们提出的损失组件，称为\textbf{空间相似性}，激励学生的每个特征空间的维度与教师的相应维度相似。我们进行了广泛的实验，证明了我们提出的方法在各种基准测试中表现出色。
arXiv:2409.13929v1 公告类型: 新研究 摘要: 本研究扩展了多模态AI系统中空间表征的先前研究。尽管当前模型展示了从图像中理解空间信息的丰富能力，但这些信息基于命题表征，这与人类和动物空间认知中使用的类比表征有所不同。为进一步探讨这些局限性，我们应用认知和发展科学的技术来评估GPT-4o的视角转换能力。我们的分析使得人类大脑与多模态AI的认知发展得以比较，为未来的研究和模型开发提供了指导。
arXiv:2409.13926v1 公告类型: 新 摘要: 使用生成式AI为虚拟现实(VR)应用创建3D空间的关注度日益增加。然而,当前的模型生成的环境是人工的,无法支持从融入用户物理环境中受益的协作任务。为了生成支持VR远程呈现的环境,我们引入了SpaceBlender,这是一种利用生成式AI技术将用户的物理环境融入统一虚拟空间的新型管道。该管道通过一个迭代过程,将用户提供的2D图像转换为富含上下文的3D环境,该过程包括深度估计、网格对齐和基于扩散的空间完成,由几何先验和自适应文本提示引导。在一个初步的受试者内研究中,20名参与者两两一组进行协作VR亲和图绘制任务,我们将SpaceBlender与通用虚拟环境和最先进的场景生成框架进行了比较,评估其创建适合协作的虚拟空间的能力。参与者赞赏SpaceBlender提供的增强的熟悉感和上下文,但也指出生成环境中的复杂性可能会分散任务注意力。根据参与者反馈,我们提出了改进管道的方向,并讨论了不同场景下混合空间的价值和设计。
arXiv:2409.13919v1 公告类型: 新文章 摘要: 鉴于人工智能系统将在未来的决策过程中发挥关键作用，其可信度和可靠性成为至关重要的问题。由于其规模和复杂性，现代人工智能系统难以直接解释，因此需要寻找替代方法来建立对这些系统的信任，并确定它们与人类价值观的一致性。我们认为，良好的信息处理相似性度量方法可能能够实现这些目标。虽然表征对齐（RA）方法衡量两个系统内部状态之间的相似性，但相关数据对于人类系统来说可能成本高昂且难以收集。相比之下，行为对齐（BA）比较更为廉价和容易，但其敏感性和可靠性仍存在疑问。我们提出了两种新的行为对齐度量方法：误分类一致性，用于衡量两个系统在相同实例上的错误相似性；以及类别级错误相似性，用于衡量两个系统错误分布的相似性。我们展示了我们的度量方法与RA度量方法具有良好的相关性，并在多个领域内提供了互补信息，为价值对齐的新方法奠定了基础。
arXiv:2409.13908v1 公告类型: 新论文 摘要: 超材料，即具有定制属性的合成材料，由于增材制造技术的发展，已成为一个有前景的领域。这些材料通过其内部晶格结构获得独特的机械性能，这些结构通常由重复几何图案的多种材料组成。尽管传统的逆向设计方法显示出潜力，但它们难以将非线性材料行为映射到多种可能的结构配置中。本文提出了一种利用视频扩散模型（一种生成式人工智能）的新颖框架，用于基于非线性应力-应变响应的逆向多材料设计。我们的方法包括两个关键组件：（1）使用视频扩散模型生成基于目标非线性应力-应变响应的解场；（2）采用两个UNet模型确定相应的多材料二维设计。通过结合多种材料、塑性和大变形，我们的创新设计方法能够更好地控制超材料在实际应用中常见的高度非线性机械行为。它为生成具有精细调谐机械特性的下一代超材料提供了有前景的解决方案。
生成式人工智能的进步预示着个性化应用的新时代，这些应用能够代表用户执行多样化的任务。尽管通用人工智能助手尚未完全出现，但其潜在的共享个人数据的能力引发了重大的隐私挑战。本文介绍了CI-Bench，这是一个全面的合成基准，用于评估AI助手在模型推理过程中保护个人信息的能力。利用上下文完整性框架，我们的基准能够系统地评估信息在重要上下文维度（包括角色、信息类型和传输原则）之间的流动。我们提出了一种新颖的、可扩展的多步骤合成数据管道，用于生成自然的通信内容，包括对话和电子邮件。与之前较小规模、狭窄聚焦的评估工作不同，我们提出了一种新颖的、可扩展的多步骤数据管道，能够合成生成自然的通信内容，包括对话和电子邮件，并利用这些内容生成了跨越八个领域的44,000个测试样本。此外，我们制定并评估了一个简单的AI助手，以展示进一步研究和在个人助手任务中谨慎训练的必要性。我们设想CI-Bench将成为指导未来语言模型开发、部署、系统设计和数据集构建的有价值工具，最终有助于开发出符合用户隐私期望的AI助手。
arXiv:2409.13869v1 公告类型: 新提交 摘要: 人工智能治理和人工智能发展中的伦理问题已成为关键关注点，促使科技公司、政府和研究人员积极讨论人工智能对民主制度可能带来的风险。本文旨在强调其中一种风险：生成式人工智能在其输出中如何包含或排除应享有公平待遇的群体。研究结果表明，生成式人工智能在性别、种族、年龄和可见残疾方面并不具备公平的包容性。
理解心脏的结构和运动对于诊断和管理心血管疾病至关重要，心血管疾病是全球死亡的主要原因。心脏的形状和运动模式存在广泛的变化，这些变化受人口统计学、人体测量学和疾病因素的影响。揭示正常的形状和运动模式，以及理解每个人如何偏离正常模式，将有助于准确的诊断和个性化的治疗策略。为此，我们开发了一种新的条件生成模型MeshHeart，以学习心脏形状和运动模式的分布。MeshHeart能够生成3D+t心脏网格序列，并考虑年龄、性别、体重和身高等临床因素。为了建模高维和复杂的空间-时间网格数据，MeshHeart采用几何编码器在潜在空间中表示心脏网格，随后使用时间Transformer建模潜在表示的运动动力学。基于MeshHeart，我们研究了3D+t心脏网格序列的潜在空间，并提出了一种称为潜在delta的新距离度量，该度量量化了真实心脏在潜在空间中偏离其个性化正常模式的程度。在使用38,309名受试者的大规模数据集进行的实验中，MeshHeart在心脏网格序列的重建和生成方面表现出色。潜在空间中定义的特征对心脏疾病分类具有高度区分性，而潜在delta在全表型关联研究中显示出与临床表型的高度相关性。本研究的代码和模型将发布，以促进数字心脏建模的进一步研究。