arXiv:2404.09155v2 通告类型: replace-cross
摘要: 最近的研究强调了张量分解方法在时间知识图嵌入(TKGE)任务中的有效性。然而，我们发现张量分解中因子张量之间固有的异质性显著阻碍了张量融合过程，并进一步限制了链接预测的性能。为了克服这一限制，我们介绍了一种新颖的方法，将因子张量映射到统一的光滑李群流形上，使得因子张量在张量分解中的分布近似同质。我们提供了关于同质张量在基于张量分解的TKGE方法中比异质张量更有效地进行张量融合和逼近目标的理论证明。所提出的方法可以直接集成到现有的基于张量分解的TKGE方法中而不引入额外的参数。广泛的实验表明，该方法在缓解异质性并增强基于张量分解的TKGE模型方面是有效的。
arXiv:2403.07904v3 宣告类型: replace-cross
摘要：欧盟立法机构提出了《数字服务法案》（DSA）和《人工智能法案》（AIA），以监管平台和人工智能（AI）产品。我们审查了这两种法律中第三方审计的程度，以及对模型和提供的数据信息的访问情况。通过考虑第三方审计和第三方数据访问在审计生态系统中的价值，我们发现在AIA中缺乏供研究人员和民间社会访问数据的监管规定。我们的文献贡献包括：（1）定义了一个包含合规性和监督的AI审计生态系统。（2）指出了DSA和AIA的监管框架中存在一个监管空白，这阻碍了民间社会和学术界能够有效监督的AI审计生态系统的建立。（3）强调必须有研究人员和民间社会进行的第三方审计作为该生态系统的一部分，因此呼吁对AIA进行修正并提出授权规定，以允许特定AI产品的数据和模型访问。此外，呼吁DSA通过授权规定为非政府组织和调查记者提供平台数据访问权，并对AIA进行适应和修正，以提供第三方审计和数据及模型访问权，特别是对于高风险系统。仿照欧盟AI法规制定的法规应该允许数据访问和第三方审计，从而促进一个促进合规性和监督机制的AI审计生态系统。
arXiv:2312.11535v3 生成类型：替换-交叉
摘要：在本文中，我们通过提出一种新颖的两阶段方法来生成从单张图片中高质量的3D模型，从而解决了由多元3D数据稀缺性引起的机器人领域的关键瓶颈。这种方法的动机在于高效地扩展3D资产的创建，特别对于机器人数据集而言，目前物体类型与一般图片数据集相比仍然有限。不同于以往主要依赖于通用扩散先验的方法，这些方法往往难以与参考图片对齐，我们的方法利用了专门的先验知识。通过在几何和纹理中整合专门的先验知识，我们确保生成的3D内容与参考对象精确对齐。具体而言，我们在NeRF优化过程中引入了一种 shading 模式感知先验，增强了几何并细化粗糙输出的纹理以获得更高质量的结果。广泛的实验表明，我们的方法显著优于之前的诸多方法。
arXiv:2311.01412v3 宣布类型: 替换-交叉
摘要：理解多元时间序列中的因果关系对于在经济学、神经科学和气候科学等领域预测和控制动态系统至关重要。然而，现有的因果发现方法通常假设时间序列的平稳性，这在时间序列包含序列化阶段时限制了它们的有效性，即未知边界和改变的因果结构的连续时间段。在本文中，我们首先介绍了一个框架来描述和建模这样的时间序列。然后，我们提出了CASTOR，一种新颖的方法，该方法同时学习每个阶段的方向无环图(DAG)，并确定阶段的数量及其顺序排列。CASTOR 使用期望最大化算法优化数据对数似然性，在分配阶段索引（期望步）和每个阶段推断因果关系（最大化步）之间交替进行。我们建立了我们框架中的阶段和DAG的可识别性。大规模实验表明，无论是在线性和非线性因果关系上，还是在合成数据集和真实世界数据集上，CASTOR 一致地优于现有的因果发现模型，以检测不同阶段并学习它们的DAG。
arXiv:2308.04690v3 宣告类型: replace-cross
摘要: 偏微分方程（PDEs）贯穿于物理学、工程学和金融学等多个领域，帮助我们理解和预测自然现象。然而，求解参数化PDEs是一个复杂的任务，需要高效的数值方法。在本文中，我们提出了一种使用有限元操作网络（FEONet）解决参数化PDEs的新方法。我们所提方法结合了深度学习与传统的数值方法，特别是有限元方法，能够在没有任何配对输入-输出训练数据的情况下解决参数化PDEs。我们在多个基准问题上进行了各种实验，并证实了我们的方法在各种设置和环境中都表现出色，证明了其在准确度、泛化能力和计算灵活性方面的普适性。虽然我们的方法不是无网格方法，但FEONet框架在PDEs模型复杂域的各种边界条件和奇异行为的情况下具有广泛的应用潜力。此外，我们还提供了理论收敛性分析，利用数值分析中的有限元逼近来支持我们的方法。
arXiv:2306.06081v5 宣布类型: 替换-交叉
摘要: 在这项工作中，我们提出了一种新的图像分类对抗防御机制 - CARSO - 它以协同增强鲁棒性的方式结合了对抗训练和对抗净化的范式。该方法基于一个对抗训练的分类器，并学习将与潜在受扰输入相关的内部表示映射到试探性干净重构的分布。此类分布的多个样本由相同的对抗训练模型进行分类，并最终精心选择的输出聚合构成了所需的研究坚常态预测。通过一个强大的适应性攻击基准，在不同的图像数据集上进行实验评估表明，CARSO 能够防御为随机防御设计的端到端白盒适应性攻击。与适度的干净准确率代价相比，我们的方法在 AutoAttack 下针对 Cifar-10、Cifar-100 和 TinyImageNet-200 的 $\ell_\infty$ 坚常态分类准确性方面显著提高了最新的技术水平。代码及获取预训练模型的说明可在以下链接获得: https://github.com/emaballarin/CARSO 。
arXiv:2305.07973v2 宣告类型: 替换-交叉
摘要：受量子计算机在从连续实值函数中获取吉布斯抽样方面的应用启发，我们探讨这类算法是否能为基于经典数据训练的机器学习模型提供实际优势，并寻求衡量这些影响的方法。在本研究中，我们重点研究深度能量基础模型（EBM），因为它们在训练和推理过程中都需要连续域的吉布斯抽样。由于目前尚未有可靠的容错量子计算机可以执行量子吉布斯抽样算法，我们使用扩散过程的蒙特卡洛模拟作为经典替代方案。更具体地，我们研究长期持续的链条蒙特卡洛模拟拉格朗日动力学是否能提高EBM所获得表示的质量。我们考虑了一个方案，在该方案中，通过能量函数梯度给出的扩散模拟，被用来改进独立分类网络的对抗鲁棒性和校准分数。我们的结果显示，在持续对比发散中增加吉布斯抽样的计算预算可以同时提高模型的校准分数和对抗鲁棒性，这表明在未来大规模量子计算机上利用量子优势生成人工智能的一个潜在途径。
arXiv:2212.01976v3 宣告类型：替换交叉
摘要：集中学习是一种分布式框架，旨在解决隐私问题。然而，它引入了新的攻击面，尤其是在数据非独立同分布的情况下更为容易。现有方法在这一设置中未能有效地减轻恶意影响；之前的许多方法往往是分别处理非IID数据和投毒攻击。为同时应对这两种挑战，我们提出了FedCC，这是一种简单而有效的新型防御算法，专门针对模型投毒攻击进行防护。它利用末层表示的中心核对齐相似性进行聚类，从而能够在非IID数据设置中识别和过滤恶意客户端。末层表示是具有意义的，因为较后的层对局部数据分布更为敏感，这使得更好的检测恶意客户端成为可能。逐层利用中心核对齐相似性对攻击进行缓解，同时利用从有用的知识中获得的有价值的信息。我们的大量实验表明，FedCC在缓解无目标模型投毒和有目标后门攻击方面是有效的。与基于异常检测和基于一阶统计的方法相比，FedCC可以一致地将攻击置信度降低到零。具体而言，它显著地将全局性能的平均退化降低了65.5%。我们相信，这种关于聚合的新视角使FedCC成为集中学习模型安全和隐私领域的宝贵贡献。代码将在接受后提供。
arXiv:2502.12048v2 宣告类型：替换
摘要：大脑计算机接口（BCIs）与生成人工智能（GenAI）的集成为大脑信号解码开辟了新的前沿，使辅助沟通、神经表示学习和多模态整合成为可能。特别是利用脑电图（EEG）的BCIs提供了将神经活动转化为有意义输出的一种无创手段。深度学习的最新进展，包括生成对抗网络（GANs）和基于变换器的大型语言模型（LLMs），极大地提高了基于EEG的图像、文本和语音生成的效果。本文提供了一个基于EEG的多模态生成的文献综述，重点关注（i）通过GANs、变分自编码器（VAEs）和扩散模型的EEG到图像生成，以及（ii）通过基于变换器的语言模型和对比学习方法的EEG到文本生成。此外，我们还讨论了新兴的EEG到语音合成领域，这是一个不断发展中的多模态前沿。我们强调关键的数据集、应用场景、挑战以及生成方法中的EEG特征编码方法。通过提供一个结构化的基于EEG的生成AI概述，此次综述旨在为研究人员和实践者提供关于神经解码、增强辅助技术以及扩展大脑-计算机交互前沿的见解。
arXiv:2502.11357v2 宣布类型：替换
摘要：大型多模态模型（LMM）的近期成功激发了自主完成复杂网络任务的智能体的应用前景。尽管开源的LMM智能体在离线评估基准上取得了显著进展，但在更具现实性的在线环境中，它们的表现仍然与人类水平存在较大差距。关键的瓶颈在于缺乏跨多个领域多样且大规模的轨迹级数据集，这些数据集的收集成本高昂。在这篇论文中，我们通过开发一种可扩展的方法，合成了迄今为止规模最大、多样性最高的轨迹级数据集，包含超过94,000个成功的多模态网络轨迹，覆盖49,000个独特的URL，320万张屏幕截图以及3300万网页元素。特别是，我们利用广泛的网络探索和细化来获取多样化的任务意图。平均每成功轨迹的成本为28美分，使其对社区中的广泛用户来说是负担得起的。利用此数据集，我们训练了Explorer，一个多模态网络代理，并在Mind2Web-Live、Multimodal-Mind2Web和MiniWob++等离线和在线网络代理基准测试中展示了强大的性能。此外，我们的实验突显了数据规模是提高网络代理能力的关键驱动力。我们希望这项研究能够使更大规模的基于LMM的代理研究更具可访问性。