arXiv:2502.01118v1 通告类型：交叉学科
摘要：大型语言模型（LLMs）已被用于解决诸如多臂老虎机（MAB）等序列决策任务，其中LLM直接被指示在每次迭代中选择拉动的臂。然而，在许多MAB任务中，直接使用LLM选择臂这一范式已被证明是次优的。因此，我们提出了一种替代方法，结合了经典MAB和LLM的优点。具体来说，我们采用经典MAB算法作为高层次框架，并利用LLM的强大基于上下文学习能力来执行奖励预测子任务。首先，我们将基于LLM的奖励预测器结合到经典的泰默尔抽样（TS）算法中，并采用递减的LLM温度计划来确保从探索到利用的过渡。接下来，我们将零温度的基于LLM的奖励预测器结合到配备显式探索机制的回归预言者为基础的MAB算法中。我们还将基于TS的算法扩展到竞赛多臂老虎机（dueling bandits），在这种情况下，仅提供臂对之间的偏好反馈，这需要对算法进行非平凡的修改。我们使用合成MAB任务和基于真实文本数据集设计的实验进行了实证评估，在这些实验中，结果表明我们的算法始终优于基于直接臂选择的先前基线方法。有趣的是，我们在挑战性的任务中也展示了，在这些任务中，臂没有LLM可以利用的语义含义时，我们的方式相较于基于LLM的直接臂选择方法显著表现出更好的性能。
arXiv:2502.01117v1 宣告类型: cross
摘要: 基于扩散的算法已成为生成权重的有前途的技术，特别是在需要频繁更新权重的多任务学习等场景中。然而，现有解决方案在跨任务转移性方面存在局限性。此外，它们仅利用最优权重作为训练样本，忽略了优化过程中其他权重的价值。为了解决这些问题，我们提出了Lt-Di，将扩散算法与元学习结合起来，为未见过的任务生成权重。此外，我们将标准的扩散算法扩展为轨迹扩散算法，以利用优化轨迹中的其他权重。轨迹扩散将整个扩散链分解为多个较短的链，从而提高训练和推理效率。我们分析了权重生成范式的收敛性质，并在不增加额外时间开销的情况下提升了收敛效率。我们的实验表明，Lt-Di在各种任务中（包括零样本学习、少量样本学习、多域泛化和大规模语言模型微调）的准确率更高，同时减少了计算开销。我们的代码在https://github.com/tuantuange/Lt-Di发布。
arXiv:2502.01113v1 交叉类型：公告
摘要：检索增强生成（RAG）已被证明在将知识整合到大语言模型（LLMs）中非常有效。然而，传统的RAG在捕捉知识片段之间的复杂关系方面存在困难，限制了它们在需要从多个来源整合知识的复杂推理中的性能。最近，图增强检索增强生成（GraphRAG）构建图结构以明确建模这些关系，从而实现更有效的检索器。然而，其性能仍然受到图结构中噪声和不完整性的影响。为了解决这个问题，我们介绍了GFM-RAG，这是一种用于检索增强生成的新颖图基模型（GFM）。GFM-RAG由一种创新的图神经网络提供动力，该网络可以在图结构上进行推理以捕捉复杂的查询-知识关系。具有800万个参数的GFM在大规模数据集上进行了两阶段训练，包含60个知识图和超过1400万个三元组，以及70万个文档。这使得GFM-RAG在性能和泛化能力方面表现出色，使其成为第一个无需微调即可应用于未见过的数据集的图基模型。在三个多跳问答数据集和七个特定领域的RAG数据集上的广泛实验表明，GFM-RAG在保持高效性和与神经网络规模定律一致的前提下达到了最先进的性能，突显了其进一步改进的潜力。
arXiv:2502.01111v1 宣布类型: cross
摘要：地震数据常常因其受到噪声污染、数据不完整和低频信息有限而难以利用，这阻碍了准确的地下成像和解释。传统的处理方法依赖于针对特定任务的设计来应对这些挑战，但未能考虑到数据的变异性。为了解决这些限制，我们提出了一种生成地震基础模型（GSFM），这是一种基于生成扩散模型（GDMs）的统一框架，旨在解决包括降噪、反散射噪声衰减、插值和低频外推在内的多任务地震处理挑战。GSFM通过在合成数据上进行预训练来捕捉干净、完整和宽带地震数据分布的特征，并应用迭代微调策略以适应现场数据。通过采用目标导向的扩散过程预测，GSFM在不牺牲准确性的前提下提高了计算效率。合成数据测试表明，GSFM在所有任务中均超过了具有相同架构的基准模型，并且性能与传统的预训练策略相当，即使在微调后也是如此。此外，现场数据测试表明，我们的迭代微调方法解决了传统预训练和微调范式的泛化限制，实现了在各种任务中显著增强的性能。此外，GSFM固有的概率性质使其能够有效地量化不确定性，为处理结果的可靠性提供有价值的见解。
arXiv:2502.01108v1 通知类型: 交叉
摘要: 基于光电容积描记术（PPG）的基础模型正因其在生物信号监测中的广泛应用及其在多种健康应用中潜在的泛化能力而变得越来越受欢迎。本文介绍了Pulse-PPG，这是首个仅基于为期100天、由120名参与者提供的原始PPG数据训练的开源PPG基础模型。现有的PPG基础模型要么是开源的但训练于临床数据，要么是封闭源代码的，这限制了它们在实际场景中的应用。我们在多个数据集和下游任务上评估了Pulse-PPG，将其性能与一个基于临床数据训练的最新基础模型进行了对比。结果表明，Pulse-PPG在未经筛选的现场数据上训练，其在临床和移动健康应用中的泛化能力优于基于临床数据训练的基础模型，无论是实验室环境还是现场环境。这表明接触实际场景中的变异使模型能够学习更细粒度的表示，从而使其更适应各种任务。此外，与临床数据预训练相比，许多任务中在现场数据上预训练的表现更好，这进一步强调了在实时、多样化的数据集上进行训练的重要性。为了促进利用现场数据开发更加稳健的基础模型的研究，我们计划发布Pulse-PPG，为研究人员提供开发更泛化PPG基础模型的强大资源。
arXiv:2502.01101v1 Announce Type: cross
摘要：随着生成式人工智能的发展，以往的研究已经实现了从手绘草图生成美学图像的任务，满足了公众对于绘画的需求。然而，这些方法局限于静态图像，缺乏使用手绘草图控制视频动画生成的能力。为了弥补这一差距，我们提出了VidSketch，这是第一个可以直接从任意数量的手绘草图和简单的文本提示生成高质量视频动画的方法，缩小了普通用户和专业艺术家之间的差距。具体来说，我们的方法引入了一种基于层级的草图控制策略，在生成过程中自动调整草图的指导强度，以适应不同绘画技能的用户。此外，我们设计了一种时空注意力机制，以增强生成视频动画的时空一致性，显著提高了帧之间的连贯性。您可以在我们的官方网站上找到更多详细案例。
arXiv:2502.01091v1 Announce Type: cross
摘要：在普遍互联网使用和社交网络主导的时代，研究人员在波斯文本挖掘方面面临巨大挑战，包括可用的波斯语数据集稀缺以及现有语言模型效率低下。本文特别针对这些挑战，旨在提升针对波斯语的语言模型的效率。本文着重于提高情感分析的有效性，方法上采用基于方面的情感分析方法，结合相关词汇表，使用ParsBERT模型进行增强。研究重心是情感分析，对象是从波斯网站“迪杰咔拉”提取的用户意见。实验结果不仅突显了所提方法在语义能力上的优越性，还展示了其在准确率为88.2%和F1分为61.7%的情况下提高的效率。在这种背景下增强语言模型的重要性在于它们在从用户生成内容中提取细微情感方面发挥的关键作用，最终通过提高效率和准确性推进波斯文本情感分析领域的进展。
arXiv:2502.01090v1 Announce Type: cross
摘要：中国文学经典具有重要的文化与教育价值，提供了深入的道德、历史和人性洞察。这些作品常常包含古典汉语和复杂的叙事结构，使得儿童难以阅读。为了弥合这一差距，我们引入了一个面向儿童的文学改编（CLA）任务，将中国文学经典改编成引人入胜且易于理解的儿童文本。然而，近期的大规模语言模型（LLMs）忽视了儿童的阅读偏好（例如，生动的角色描绘、简洁的叙述结构以及适宜的易读性），这给CLA带来了挑战。本文中，我们提出了一个名为InstructChild的方法，该方法通过将这些偏好结合起来增强LLM。具体来说，我们首先获取角色个性和叙述结构作为细粒度指令调优的额外信息。然后，我们设计了一个可读性度量作为奖励，以使LLM与儿童的阅读水平对齐。最后，在推理过程中应用前瞻解码策略，以提高生成文本的可读性。为了支持CLA任务的评估，我们构建了Classic4Children数据集，该数据集包括《中国四大古典名著》的原始版本和儿童友好的版本。实验结果表明，我们的InstructChild方法在自动和人工评估中显著提高了性能。
arXiv:2502.01089v1 通告类型: cross
摘要：本文研究了一系列旨在简化网络操作、减少运营支出（OpEx）并 enables 新的服务模式的技术和架构创新。重点在于：（i）提出新的更高效的6G架构，两者（控制面和用户面）都支持服务的无缝扩展，同时解决6G网络的长期演进问题。（ii）探索受限人工智能（AI）操作的先进技术，特别是设计能够实时学习、优化能耗并分配计算资源的AI代理。（iii）确定支持跨多个领域（尤其是垂直行业）后端服务编排的技术和架构，采用无服务器计算模型。（iv）引入基于光的超高速、低延迟网络架构，具有快速光交换和实时控制，以取代传统的电子交换，将能耗降低一个数量级。
arXiv:2502.01083v1 通知类型: 交叉
摘要: 工具增强的大语言模型（LLMs）通常是在查询-响应对的数据集上进行训练的，这将工具或API的使用能力直接嵌入到LLMs的参数化知识中。由于安全漏洞、隐私法规或工具弃用，工具增强的LLMs需要遗忘学到的工具的能力。然而，“工具遗忘”尚未在遗忘文献中进行研究。我们引入了这一新型任务，与传统的遗忘任务相比，它需要解决不同的挑战：知识删除而不是遗忘个别样本，优化LLMs的高成本，以及需要公正的评估指标。为了弥补这些差距，我们提出了ToolDelete，这是第一个用于从工具增强的LLMs中遗忘工具的方法。它实现了三种关键属性，以有效应对上述挑战，并引入了一种新的成员推理攻击（MIA）模型，用于有效的评估。在多个工具学习数据集和工具增强的LLMs上的大量实验表明，ToolDelete能够有效遗忘随机选定的工具，同时保持LLMs在未删除工具上的知识，并保持在一般任务上的性能。