arXiv:2405.16381v2 通告类型: replace-cross
摘要：在流形上生成数据是一个重要的任务，通常需要在平坦空间中扩散模型进行非平凡的适应。本文展示了如何通过一种称为`平凡化`的技术，将扩散模型在欧几里得空间中的有效性转移至李群中。特别是，算法上引入了一个辅助动量变量，以帮助在数据分布与固定、易于采样的分布之间运输位置变量。通常，这会因为动量存在于随位置变化的空间中而增加额外的难度。然而，我们的平凡化技术创建了一个新的动量变量，该变量保持在一个简单的固定向量空间中。这种设计，结合一个保流形的积分器，简化了实施过程并避免了投影到切空间和流形等近似方法所创建的不准确，从而在保真度和效率方面促进了生成。该方法在蛋白质和RNA扭转角生成以及复杂的环面上数据集上取得了当前最先进的性能。我们还首次尝试生成高维特殊正交群和单性群上的数据，后者对于量子问题至关重要。相关代码可在https://github.com/yuchen-zhu-zyc/TDM 获取。
arXiv:2405.05905v5 宣告类型：替换交叉
摘要：在线广告的下一个前沿是通过LLM生成的内容来实现收入增长。我们考虑一个场景，其中广告商希望影响LLM的响应，使其与自己的利益保持一致，而平台则旨在最大化广告商的价值并确保用户的满意度。挑战在于广告商的偏好通常与用户的利益相冲突，而且广告商可能会误报自己的偏好。为了解决这一问题，我们提出了MOSAIC，这是一种拍卖机制，确保广告商在竞价时上报真实信息是其占优策略，并且使每个广告商的效用与其对社会福利的贡献相一致。重要的是，该机制在无需对LLM进行微调或访问模型权重的情况下运行，并且随着计算资源的增加，该机制可以证明收敛于在优化微调后LLM的输出。此外，该机制可以整合关于广告商的上下文信息，这显著提高了社会福利。通过使用一个公开可用的LLM进行实验，我们证明MOSAIC能够以较低的计算开销带来高广告价值和平台收入。虽然我们的主要应用场景是在线广告，但我们的机制可以应用于任何涉及货币转移的场景，因此它是一种通用解决方案，可以实现在LLM生成的回答上自私代理的真实聚合。
arXiv:2404.02690v2 类型: replace-cross
摘要: 稀疏注意是一种近似标准注意计算的技术，其复杂度低于二次。这通过在计算 softmax 函数时选择性地忽略注意矩阵中的较小条目来实现。这项技术的各种变体，如剪枝 KV 缓存、基于稀疏性的快速注意和稀疏变换器，已被广泛用于高效的大规模语言模型（LLMs）部署。尽管它的使用非常普遍，但稀疏注意与传统注意在性能上相当的条件的理论理解仍然不足。本文旨在通过检查标准注意过程的固有稀疏性来 **弥合这一差距**。我们的理论框架揭示了几条全新的关键见解：
$\bullet$ 注意是 $n^{C}$ 稀疏的，这意味着从所有 $n$ 个条目中仅考虑最大的 $\Omega(n^{C})$ 条目即可使稀疏注意能够近似出精确的注意矩阵，且损失逐渐减小。这里，$n$ 表示输入长度，且 $C \in (0, 1)$ 是一个常数。
$\bullet$ 稳定的 $o(\log(n))$ 稀疏注意，其通过 $\log(n)$ 或更少的条目近似注意计算，可能不可行，因为误差将至少保持在 $O(1)$ 级。
$\bullet$ 对于灵活上下文长度的推理任务，高效注意方法的窗大小自适应策略（$\alpha \cdot n^C, \alpha \in \mathbb{R}$）而非固定的策略，能够实现更准确和更高效的性能。
arXiv:2403.15457v3 宣告类型: replace-cross
摘要：本文回顾了可信人工智能(TAI)及其各种定义。考虑到任何社会所尊重的原则，TAI往往由几个属性来表征，其中一些属性在监管或工程背景下导致了混淆。我们反对使用负责任或伦理AI等术语作为TAI的替代。为了澄清任何混淆，我们建议放弃这些术语。鉴于TAI固有的主观性和复杂性，开发一个通用框架被认为是不可行的。因此，我们提倡集中于解决公平性、偏见、风险、安全性、可解释性和可靠性等关键属性和特性的方法。我们审查了当前的监管框架，重点是中国、欧盟和美国的举措。我们认识到，基于地缘政治和地理原因的不同人工智能监管标准对跨国公司构成了额外挑战。我们将风险视为人工智能监管和TAI的核心因素。例如，正如欧盟AI法案所规定，组织必须评估其人工智能产品的风险级别以采取相应行动（或面临巨额罚款）。我们比较了TAI实施的各种模式及其在整个过程中涉及的多学科团队。因此，采取强制性措施实施TAI会使其效率和灵活性变得毫无意义。为了解决这一问题，我们提出了我们的框架Set-Formalize-Measure-Act (SFMA)。我们的解决方案强调了将TAI意识指标、TAI驱动因素、利益相关者和商业/法律要求转化为实际基准或测试的重要性。最后，出于对强大人工智能模型的恐慌而导致的过度监管，实际上也会损害TAI。根据GitHub用户活动数据，在2023年，由贡献者账户排名，人工智能开源项目成为顶级项目。让TAI取得创新依赖于开源社区的独立贡献。
arXiv:2403.15405v3 Announce Type: replace-cross
摘要：帕金森病（PD）是一种常见的神经退行性疾病，其生理病理机制尚不完全清楚，且目前没有公认的数据生物标记物可用于早期阶段的诊断及疾病进展的预测。最近已经研究了几种神经影像学生物标记物，但这些标记物可能受到各种因素的影响，例如人群选择或图像分析等。在这一背景下，评估此类生物标记物在数据处理工作流中的稳健性变得尤为重要。本研究是更大项目的一部分，该项目旨在研究帕金森病潜在神经影像学生物标记物的可复制性。在这里，我们尝试重新实现（使用与文献中相同的实验和方法）和重新进行（使用不同的数据和/或方法）文献[1]中描述的模型，以预测个体的PD当前状态和进展情况，使用了如文献[1]中使用的静息态功能磁共振成像（fALFF和ReHo）提取的 démographiques、临床和神经影像特征。我们使用帕金森病进展标记物倡议数据库（PPMI，ppmi-info.org），如文献[1]所示，并力求尽可能地接近原文献中的群体、影像特征和机器学习模型，利用文献和代码中的可用信息。我们还研究了群体选择、特征提取管道和输入特征集中的方法学变化。使用不同的标准评估了重现过程，并将重现的结果与原始结果进行了比较。值得注意的是，我们使用与原始研究最接近的分析管道进行了分析（R2 > 0），其结果一致地支持了其发现。此外，通过原始研究作者提供的衍生数据，我们能够进行精确的重现，并能够获得接近原始结果的结果。在重现和复制原始工作时遇到的挑战很可能由神经影像学研究的复杂性解释，尤其是临床设置中的复杂性。我们提供了进一步促进此类研究的可复制性的建议。
arXiv:2403.03993v2 通知类型: 替换-交叉
摘要：推荐系统已成为在线平台的重要组成部分。每天的训练数据量不断增加，用户的交互数量也在持续增长。探索更大、更表达能力强的模型已成为提高用户体验的必要追求。然而，这种进步伴随着更大的计算负担。在商业环境中，一旦训练并部署了推荐系统模型，通常需要频繁更新以适应新的客户端数据。随着时间的积累，数据量的增长最终会使得从头开始进行全面批量重新训练变得在计算上不可行。仅仅在新数据上进行平滑微调遇到了众所周知的灾难性遗忘问题。尽管负采样是使用隐式反馈训练过程中的关键部分，但尚不存在专门针对增量学习框架的技术。在本工作中，我们提出了一种个性化的负采样水库策略，用于图推荐系统中的标准三元损失获取负样本。我们的技术通过鼓励模型记住稳定的用户偏好，并在用户兴趣发生变化时有选择地遗忘，平衡了遗忘缓解与灵活性。我们推导了负采样器的数学公式来填充和更新水库。我们将我们的设计集成到了三个最先进和常用增量推荐模型中。我们展示了我们的负水库框架的具体实现，在多种top-k评价值标准下达到标准基准的最先进结果。
arXiv:2402.15537v3 通知类型: replace-cross
摘要：电子邮件在专业和商业领域仍然是一个至关重要且广泛使用的通信媒介。然而，垃圾邮件的盛行对用户构成了重大挑战，扰乱了他们的日常工作并降低了生产力。因此，基于内容准确识别和过滤垃圾邮件已成为网络安全的重要方面。最近在自然语言处理方面的进展，尤其是大型语言模型ChatGPT，在问答和文本生成任务中展现了出色的表现。然而，其在垃圾邮件识别方面的潜力尚未得到充分开发。为填补这一空白，本研究尝试评估ChatGPT在英文和中文电子邮件数据集中的垃圾邮件识别能力。我们使用在上下文学习中应用ChatGPT进行垃圾邮件检测，这需要带有（或不带）一些示例的提示指令。我们还研究了提示中示例的数量如何影响ChatGPT的性能。为了进行对比，我们还实现了五种流行的基准方法，包括朴素贝叶斯、支持向量机（SVM）、逻辑回归（LR）、前馈密集神经网络（DNN）和BERT分类器。通过大量实验，ChatGPT在大型英文数据集中的表现远逊于深度监督学习方法，但在资源有限的中文数据集上表现出优越的性能。本研究为ChatGPT在垃圾邮件识别方面的潜力和局限性提供了见解，并强调了其在资源受限的语言领域作为可行解决方案的前景。
arXiv:2402.05980v3 宣布类型: replace-cross
摘要：大型语言模型在文本生成方面的成功也使它们在代码生成和编程任务方面更加优秀。尽管已经有大量的研究展示了它们在代码完成和编辑等任务上表现出色，但其背后的原因仍不甚清楚。我们通过探索自回归模型对底层程序逻辑构造的理解程度来弥合这一差距。我们提出了一种名为编程概念谓词反事实分析（CACP）的反事实测试框架，以评估大型代码模型是否理解编程概念。仅通过黑盒访问模型，我们使用CACP评估了四种不同编程概念下的十个流行大型代码模型。我们的研究发现表明，当前的模型在数据流和控制流等概念的理解上存在不足。
arXiv:2402.04059v2 宣告类型: 替换交叉
摘要：多变量时间序列（MTS）数据中缺失值普遍存在，这对准确的分析和下游应用提出了重大挑战。近年来，基于深度学习的方法通过利用复杂的时序依赖关系和学习的数据分布成功处理了缺失数据问题。在本文综述中，我们提供了对于多变量时间序列插补（MTSI）任务中深度学习方法的全面总结。我们提出了一种新的分类方法，根据两个关键视角对现有方法进行分类：插补不确定性与神经网络架构。此外，我们特别总结了现有的MTSI工具包，并着重介绍了PyPOTS生态系统，该生态系统为MTSI研究提供了集成和标准化的基础。最后，我们讨论了关键挑战和未来的研究方向，以期为进一步的MTSI研究提供见解。本文综述旨在为时间序列分析和缺失数据插补任务领域的研究者和实践者提供有价值的资源。
arXiv:2312.12676v3 宣告类型: replace-cross
摘要: 我们考虑组合波动高斯过程（GP）半_bandit 问题。每轮，代理会提供一组可用的基础臂，并必须从中选择一个子集以最大化长期累积奖励。我们研究了贝叶斯设置，并为三种基于GP的算法提供了新颖的贝叶斯累积遗憾界：GP-UCB、GP-BayesUCB 和 GP-TS。我们的界限将先前对 GP-UCB 和 GP-TS 的结果扩展到无限、波动和组合设置，据我们所知，我们首次为 GP-BayesUCB 提供了遗憾界。波动臂涵盖了其他广泛考虑的bandit 问题，如上下文ersist_bandit。此外，我们利用我们的框架解决了一个具有挑战性的实际问题——在线能量高效导航，我们证明了这种方法的有效性，优于其他方法。