arXiv:2502.08346v3 通知类型: 替换-交叉
摘要：推荐系统（RS）作为导航庞大在线信息空间的基本工具，随着深度学习技术的进步，在提高排名准确性方面发挥着越来越重要的作用。在这其中，图神经网络（GNNs）擅长提取高阶结构信息，而大型语言模型（LLMs）则被设计用来处理和理解自然语言，使得这两种方法都极为有效且被广泛采用。最近的研究集中在图基础模型（GFMs）上，这些模型通过结合GNNs和LLMs的优势，在利用用户-项目关系的图结构的同时结合文本理解，更高效地建模复杂的RS问题。在本文综述中，我们通过引入清晰的分类体系、深入探讨方法论细节以及突出关键挑战和未来方向，提供了一种GFMs基于RS技术的全面概述。通过综合最近的进展，我们希望为GFMs基于的推荐系统不断演变的景观提供有价值的见解。
arXiv:2412.18047v3 宣告类型: replace-cross
摘要：先进的双向电动汽车充电和放电技术旨在支持电网稳定和应急操作，已在工作场所应用中引发了越来越大的兴趣。它不仅降低了电费开支，还在处理高峰期电力限制、波动的能源价格和不可预测的电动汽车离开等问题时增强了应对能力。综合考虑这些因素可以同时提高办公楼和电动汽车用户的能源效率。为了利用人工智能解决这些问题，我们提出了HUCA，这是一种新的实时充电控制方法，用于调节建筑和电动汽车的能源需求。HUCA采用分层演员-评论家网络，在动态定价场景中动态降低建筑的电费成本，同时考虑电动汽车充电的需求。为了应对电动汽车不确定的离开，我们引入了一种新的评论家增强方法，以在评估充电决策时考虑到离场不确定性，同时保持充电控制的稳健性。在模拟确定性和不确定离场场景的真实世界电力数据集上的实验表明，HUCA在总电费成本方面优于基线，并且在满足电动汽车充电需求方面保持竞争力。案例研究还表明，HUCA可以根据实时信息有效地平衡建筑和电动汽车之间的能源供应，展示了其作为车辆充电控制的关键人工智能驱动解决方案的潜力。
arXiv:2407.08952v3 通知类型: 交叉替换
摘要: 少-shot假新闻检测（FS-FND）旨在在资源极其有限的情况下将不准确的新闻与真实新闻区分开来。由于假新闻在社交媒体上的广泛传播及其有害影响，这一任务引起了广泛关注。大型语言模型（LLMs）在其丰富的先验知识和出色的上下文学习能力的辅助下，展现了竞争优势。然而，现有的方法面临诸如理解含糊性和信息稀缺性等重大限制，严重影响了LLMs的潜力。为应对这些不足，我们提出了一种双视角知识引导的假新闻检测（DKFND）模型，旨在从内外两个视角提升LLMs。具体来说，DKFND首先通过检测模块识别每篇新闻文章的知识概念。随后，DKFND创新地设计了一个调查模块，用于检索当前新闻相关的内部和外部有价值的信息，然后是另一个评估模块来评估这些信息的相关性和置信度。最后，确定模块进一步得出两种各自的预测，并得出最终结果。在两个公开数据集上的广泛实验表明了我们提出的方法的有效性，尤其是在资源有限的环境中。
arXiv:2405.14135v3 宣布类型: 替换-交叉
摘要：地区社会经济指标在多个领域都至关重要，但其获取成本较高。从有限的地区样本中推断全球社会经济指标对于增强城市管理和可持续性至关重要。目前的推断方法通常依赖于基于空间连续性假设的空间插值，这不能充分解决地区空间中存在的复杂变化。在本文中，我们提出了GeoHG，这是一种首个利用异质图结构表示地理空间进行非连续推断的空间意识社会经济指标推断方法。 extensive 实验表明，与现有方法相比，GeoHG 在极端数据稀缺的情况下，具有 95% 的掩蔽比例时，其 \(R^2\) 得分超过了 0.8，证明了其有效性。
arXiv:2502.07191v4 宣布类型: 替换
摘要：随着大规模语言模型（LLMs）的发展，解决复杂的推理任务越来越受到关注。推理时的计算方法（例如，Best-of-N、束搜索等）尤其有价值，因为它们可以在不需要修改模型参数或额外训练的情况下增强推理性能。然而，这些技术带来了实现上的挑战，并且由于其计算复杂性和在不同任务上的有效性差异，大多数现有方法仍仅停留在概念验证阶段，实用性有限。在这篇论文中，我们跨不同复杂度的推理任务研究和基准测试了多种推理时的计算策略。由于大多数现有方法依赖于提案-验证者流水线，首先生成候选解决方案（例如，推理解决方案），然后根据奖励信号（例如，RLHF奖励、过程奖励）选择最佳的解决方案，我们的研究重点在于优化候选解决方案生成（例如，指示提示、温度和top-p等超参数）和奖励机制（例如，自我评估、奖励类型）。通过在各种模型（例如，Llama、Qwen和Mistral家族）上进行的大量实验（超过20,000个A100-80G GPU小时，超过1,000次实验），我们的消融研究揭示了一些之前未被忽视的策略可以显著提高性能（例如，调节温度可将推理任务性能提升多达5%）。此外，我们通过系统地评估六种代表性方法在八种推理任务上的表现，建立了推理时计算的标准基准。这些发现为未来的研究提供了更强的基础。代码可在 https://github.com/usail-hkust/benchmark_inference_time_computation_LLM 获得。
arXiv:2502.09969v2 交叉公告类型：交叉
摘要：影响函数提供了有关模型训练的重要见解，但现有的方法存在较大的计算成本和有限的一般性。特别是，最近的研究提出了各种用于计算数据影响的度量和算法，这些方法在大型模型和数据集面前并不适用于扩展。这是因为在计算过程中需要昂贵的前向和反向传递，需要大量内存来存储大型模型，以及影响估计对新数据的一般性较差。在本文中，我们探索了使用小型神经网络——我们称之为影响网络——来估计影响值，实现了高达99%的成本减少。我们的评估表明，影响值可以用仅占完整语言模型0.0027%大小的模型来估计（我们使用了7B和8B版本的模型）。我们将用于估算影响值的算法（称为NN-CIFT：用于高效指令微调的神经网络）应用于通用指令微调的下游任务——子集选择。在我们的研究中，我们包含了四种最先进的影响函数，并在没有显著性能妥协的情况下展示了比原始影响函数有着巨大速度提升的结果。我们对NN-CIFT进行了深入的超参数分析。我们的方法的代码可以在以下链接找到：https://github.com/agarwalishika/NN-CIFT。
arXiv:2502.09838v2 宣告类型：交叉
摘要：我们提出了HealthGPT，这是一种强大的医疗大规模视觉-语言模型（Med-LVLM），它在统一的自回归框架内集成了医疗视觉理解和生成能力。我们的_bootstrap_哲学是逐步适应异构的理解和生成知识到预训练的大语言模型（LLMs）中。这通过一种新颖的异构低秩适应（H-LoRA）技术实现，该技术与量身定制的分层视觉感知方法和三阶段学习策略相结合。为了有效地学习HealthGPT，我们设计了一个全面的医疗领域特定的视觉和语言理解与生成数据集，称为VL-Health。实验结果展示了HealthGPT在医疗视觉统一任务中的出色性能和可扩展性。我们的项目可以在https://github.com/DCDmllm/HealthGPT访问。
arXiv:2502.09782v2 交叉通知类型
摘要：随着日常设备中麦克风的增多以及对在线服务依赖的增加，针对键盘的声学侧信道攻击（ASCAs）的风险得到了放大。本研究探讨了利用深度学习技术，特别是视觉变换器（VTs）和大型语言模型（LLMs），以增强此类攻击的有效性和适用性。我们在此前研究的基础上取得了显著改进，CoAtNet模型达到了迄今为止的最佳性能。CoAtNet在通过智能手机（Phone）录制的按键记录上实现了5.0%的性能提升，在通过Zoom录制的按键记录上实现了5.9%的性能提升。我们也评估了变换器架构和语言模型，其中最佳的VT模型与CoAtNet的性能相当。一个关键的进展是引入了一种针对现实场景的噪声缓解方法。通过使用LLMs来理解上下文，我们可以在噪声环境下检测并纠正错误的按键记录，从而提升ASCAs的效果。此外，经过微调的轻量级语言模型，使用低秩适应（LoRA），在参数量少67倍的情况下实现了与重模型相当的性能。这一视觉变换器和语言模型的结合提高了ASCAs缓解的实际适用性，标志着首次使用这些技术来应对实时场景中的ASCAs和错误修正。
arXiv:2502.09624v1 宣告类型: 新
摘要: 通过将移动网络与嵌入式人工 intelligence (AI) 相互结合，移动嵌入式 AI 网络 (MEANETs) 代表了一种先进的范式，能够在动态环境中促进自主、情境感知和互动行为。然而，MEANETs 的迅速发展伴随着可信性和操作效率方面的挑战。幸运的是，具有去中心化和不可变特性的区块链技术为 MEANETs 提供了有前途的解决方案。然而，现有的区块传播机制在区块传播效率和安全性方面存在挑战，导致车辆消息传输延迟或面临恶意篡改的风险，这可能会在区块链支持的 MEANETs 中引发严重的交通事故。此外，当前的区块传播策略无法有效地适应 MEANETs 中动态拓扑结构的实时变化。因此，在本文中，我们提出了一种基于图重融合模型的信任化的区块传播优化框架，以支持联盟区块链的 MEANETs。具体而言，我们提出了一种基于信任云模型的信任计算机制，该机制全面考虑了矿工信任评估中的随机性和模糊性。此外，利用图神经网络和扩散模型的优势，我们开发了一种图重融合模型，以有效和适应性地生成最优的区块传播轨迹。仿真实验结果表明，提出的模型在区块传播效率和可信性方面优于其他路由机制。此外，结果还突显了其对动态环境的强大适应能力，使其特别适用于快速变化的 MEANETs。
arXiv:2502.09609v2 宣告类型: replace-cross
摘要: 我们提出了混合分数训练 (SMT)，这是一种通过最小化一类称为 $\alpha$-偏斜杰森-香农散度的发散来训练一步生成模型的新框架。其核心在于，SMT 通过多个噪声水平估计真实样本和假样本混合分布的分数。与一致性模型类似，我们的方法支持从零开始训练 (SMT) 以及使用预训练扩散模型的蒸馏，我们称之为混合分数蒸馏 (SMD)。实现简单，需要的超参数调优极少，并确保训练稳定。在 CIFAR-10 和 ImageNet 64x64 上的实验表明，SMT/SMD 与现有方法相当，甚至可以超越现有方法。