arXiv:2502.02917v1 通知类型: cross
摘要：符号回归（SR）具有从观测数据中揭示潜在的数学和物理关系的巨大潜力。然而，可能表达式的庞大组合空间为在线搜索方法和预训练的变压器模型带来了重大挑战。此外，当前最先进的方法通常不考虑领域专家的先验知识，也不支持在方程发现过程中与模型的迭代交互。为了解决这些挑战，我们提出了符号Q网络（Sym-Q），这是一种用于大规模符号回归的先进交互框架。与之前的大规模基于变压器的SR方法不同，Sym-Q利用强化学习，而不依赖于基于变压器的解码器。这种表述允许代理通过使用任何类型的树编码器进行离线强化学习来学习，从而实现更高效的训练和推理。此外，我们提出了一个协同设计机制，其中基于强化学习的Sym-Q在方程发现过程的任何阶段都促进了与领域专家的有效交互。用户可以动态修改生成表达式的节点，并与代理合作，将数学表达式调整为最好地适应问题并符合假设的物理定律，特别是在有预期行为的部分先验知识时。我们的实验表明，预训练的Sym-Q在具有挑战性的SSDNC基准上超过了现有SR算法。此外，我们在真实世界案例中实验性地表明，通过交互式协同设计机制可以进一步增强其性能，Sym-Q的表现比其他最先进的模型提高了更大的性能。我们的可复现代码可在https://github.com/EPFL-IMOS/Sym-Q找到。
arXiv:2502.02912v1 交叉类型公告
摘要：近年来，学习城市区域的有效表示已成为理解城市动态和推动智慧城市的重要方法。现有的方法展示了利用移动数据生成潜在表示的潜力，为了解城市区域的内在特征提供了有价值的见解。然而，将人类移动模式中固有的时序动态和详细语义融入其中仍然未被充分探索。为了解决这一差距，我们提出了一种新的城市区域表示学习模型——用于城市区域表示的移动时间序列对比学习（MobiCLR），旨在从流入和流出的移动模式中捕获语义有意义的嵌入。MobiCLR 使用对比学习来增强其表示的辨别能力，通过实例级对比损失来捕捉特定流的特征。此外，我们还开发了一个正则化器来使输出特征与这些特定流的表示对齐，从而实现对移动动态的更全面理解。为了验证我们的模型，我们在芝加哥、纽约和华盛顿特区进行了广泛的实验，以预测收入、教育成就和社会脆弱性。结果表明，我们的模型优于最先进的模型。
arXiv:2502.02909v1 任务类型: 对接
摘要：我们提出了一种名为SPARC的轻量级持续学习框架，该框架通过低维度空间的提示调整，使大型语言模型（LLMs）能够高效地适应新任务。通过利用主成分分析（PCA），我们识别出训练数据的一个紧凑子空间。在该低维度空间中优化提示提升了训练效率，因为这重点更新了最相关的特征，同时减少了计算开销。此外，由于模型的内部结构保持不变，预训练所获得的丰富知识得到了完全保留，确保在适应过程中不会丢失之前学到的信息。我们的方法在任务增量式和域增量式持续学习设置中实现了高知识保留，仅微调了模型参数的0.04%。此外，通过集成LoRA，我们增强了适应计算约束的能力，允许在准确性和训练成本之间进行权衡。在SuperGLUE基准测试中的实验结果表明，结合PCA的提示调整与LoRA相结合，能够维持完整的知识保留并提高准确性，仅使用模型参数的1%。这些结果证明了我们方法在大型语言模型持续学习中的可扩展性和资源效率。
arXiv:2502.02903v1 交叉类型：
摘要：文本嵌入模型通常会表现出由训练数据带来的偏见。在本文中，我们探讨了一种先前未被研究的文本嵌入偏见：由文本中存在的人员、地名、组织等名称引起的偏见。我们的研究展示了文本嵌入模型中的名称偏见可能导致在主题相似性评估中产生错误的结论。文本嵌入可能会错误地基于文本中的名称将文本标记为相似，即使它们的实际语义内容并无相似之处，或者仅因为文本中的名称不同而标记为不相似，即使它们在语义上匹配。我们首先在不同的文本嵌入模型中展示了名称偏见的存在，然后提出了一种在推理过程中进行文本匿名化的方法，即去除对名称的引用，同时保留文本的核心主题。通过在两个下游NLP任务上的有效性证明，展示了匿名化方法的有效性，实现了显著的性能提升。我们的简单且无需训练优化的方法提供了一种实用且易于实现的解决方案，以减轻名称偏见。
arXiv:2502.02901v1 交叉公告类型
摘要：策略空间响应先验（PSRO）将经验博弈论分析与深度强化学习（DRL）结合，以解决传统分析方法无法解决的复杂博弈游戏。树利用PSRO（TE-PSRO）是这一方法的一种变体，它通过模拟器获取的数据，迭代构建详细描述游戏的扩展形式的经验博弈模型。我们对TE-PSRO做出了两项主要的方法论改进，使其在不完美信息博弈中更具适用性。首先，我们引入了一种可扩展的经验博弈树表示，在这种表示中，边对应于通过DRL学习的隐式策略。这些策略涵盖了博弈模型中抽象的游戏情况，支持树在轮次中的可持续增长。其次，我们通过采用精确的纳什均衡来利用扩展形式的经验模型，以引导策略探索。为此，我们提供了一种基于广义反向归纳的模块化和可扩展算法，用于计算不完美信息博弈中的子博弈完美均衡（SPE）。我们对包括轮番报价议价游戏（有外部报价）在内的多种游戏进行了实验性评估，结果表明，当基于SPE而不是纳什均衡生成新策略时，TE-PSRO更快地收敛到均衡，并且对于增长的经验模型具有合理的计算时间和内存要求。
arXiv:2502.02896v1 交叉类型公告
摘要：评估大型语言模型（LLMs）在支持知识图谱构建的事实提取任务中的表现时，通常会使用基于知识图谱（KG）的真相基准计算准确性指标。这些评估假设错误代表了事实上的分歧。然而，人类言语中经常出现元语言分歧，也就是说，不同主体在语言的含义上有所不同，而不是在所表达的事实本身上有所不同。鉴于使用LLMs进行自然语言处理和生成的复杂性，我们提出了一个问题：LLMs和KG之间是否确实存在元语言分歧？基于对T-REx知识对齐数据集的调查，我们假设LLMs和KG之间确实存在元语言分歧，这可能对知识图谱工程的实践具有重要意义。我们提出了一种用于评估LLMs和KG之间事实和元语言分歧的基准。这种基准的初步概念实现可以在GitHub上找到。
arXiv:2502.02885v1 Announce Type: cross
摘要：随着深度学习的发展，视频-文本检索这一领域取得了显著进步。然而，由于视频缺乏充分的文字描述，文本与视频匹配的挑战依然存在。两种模态之间巨大的信息差距阻碍了对视频的全面理解，导致检索结果模糊不清。虽然基于大型语言模型的重写方法被提出以扩展文本表达，精心设计的提示对于确保重写文本的合理性与完整性至关重要。本文提出了一种自动字幕增强方法，该方法通过自我学习提高表达质量并减轻增强字幕中的经验主义。此外，还设计并引入了一种专家级字幕选择机制，为每个视频定制增强字幕，促进视频-文本匹配。我们的方法完全基于数据驱动，不仅省去了大量数据收集和计算的工作，还通过避免词典依赖并引入个性化匹配来提高自我适应性。我们在多个基准上的先驱成果验证了我们方法的优越性，具体而言，在MSR-VTT上的Top-1召回率达到了68.5%，在MSVD上的Top-1召回率达到了68.1%，在DiDeMo上的Top-1召回率达到了62.0%。
arXiv:2502.02874v1 交叉公告类型
摘要：机器学习（ML）已被证明是为现代5G及更高级通信网络提供新型可扩展和高效故障管理解决方案的有希望的解决方案。在微波网络的背景下，基于机器学习的解决方案受到了广泛关注。然而，当前的解决方案仅适用于单体场景，在这种场景中，单一实体（例如，运营商）负责整个网络的管理。随着当前网络架构向 disaggregated通信平台发展，多个运营商和供应商合作以实现成本效益和可靠网络管理，新的基于机器学习的故障管理方法必须应对由于潜在的利益冲突而导致的关键业务信息共享的挑战。在这项研究中，我们探索了在不同多供应商部署场景下联邦学习在disaggregated微波网络中的应用，特别是在故障起因识别方面的应用。具体而言，我们在真实微波硬件故障数据集上研究了两种垂直联邦学习（Vertical Federated Learning，VFL），即使用分割神经网络（Split Neural Networks，SplitNNs）和基于梯度提升决策树的联邦学习（Federated Learning based on Gradient Boosting Decision Trees，FedTree），并将其与数据由单一实体管理的集中式场景进行了比较。我们的实验结果表明，无论部署策略或模型类型如何，基于VFL的场景可以实现F1-Score与集中式场景之间的差距不大于1%，同时确保敏感数据的最小泄露。
arXiv:2502.02871v1 种类: cross
摘要：科学推理，即人类通过逻辑、证据和批判性思维来探索和解释科学现象的过程，在跨学科的知识推理提升中是至关重要的。尽管取得了显著进展，当前的科学推理模型在跨领域的一般泛化方面仍然面临挑战，通常在多模态感知方面表现不足。将文本、图像和其他模态整合的多模态大型语言模型（MLLMs）为克服这些限制和增强科学推理提供了令人兴奋的机会。因此，本文认为MLLMs可以在数学、物理、化学和生物学等学科中显著推进科学推理。首先，我们提出了一种科学推理能力的四阶段研究路线图，并强调了MLLM在科学推理中的当前应用状态，指出它们能够综合并处理多种数据类型的能力。其次，我们总结了实现MLLM最大潜力所面临的几个关键挑战。为了解决这些挑战，我们提出了未来可行的见解和建议。总体而言，我们的工作为MLLM与科学推理的整合提供了新颖的视角，为LLM社区提供了实现通用人工智能（AGI）的宝贵愿景。
arXiv:2502.02869v1 宣布类型: cross
摘要：我们介绍了 OmniRL，一个高度通用的上下文强化学习（ICRL）模型，该模型在数以十万计的多样化任务上进行元训练。这些任务通过在马尔可夫决策过程（MDP）中随机化状态转移和奖励来程序化生成。为了支持这种广泛的元训练，我们提出了两种关键创新：1. 一种高效的ICRL数据合成管道，利用多种行为策略的交互历史；2. 一种新颖的建模框架，将模仿学习和强化学习（RL）集成到上下文环境中，并通过融入先验知识来进行整合。我们首次证明，无需任何基于梯度的微调，仅通过模仿学习、在线RL或离线RL，上下文学习（ICL）本身就可以成功应对未见过的Gymnasium任务。此外，我们展示了实现广泛适用的ICRL能力，不同于针对任务识别的少样本学习，关键依赖于由变异任务和多样化行为策略生成的长轨迹。强调ICL的潜力并脱离专注于获取特定技能的预训练，我们进一步突出了旨在培养ICL能力本身的元训练的重要性。