arXiv:2502.05827v2 宣布类型: replace-cross
摘要：超边预测是一个基于观察到的网络结构来预测未来高阶关系的基本任务。现有的超边预测方法却遭受数据稀疏性的问题。为了缓解这个问题，可以使用负样本方法，这些方法利用不存在的超边作为模型训练的对比信息。然而，以下重要挑战很少被研究：(C1)生成负样本缺乏指导，(C2)生成虚假负样本的可能性。为了解决这些问题，我们提出了一种新颖的超边预测方法HyGEN，该方法采用(1)一个负超边生成器，该生成器利用正超边作为指导以生成更现实的超边；(2)一个正则化项，防止生成的超边成为虚假负样本。在六个实际超图上的 extensive 实验证明，HyGEN 一贯优于四种最先进的超边预测方法。
arXiv:2502.05503v2 Announce Type: replace-cross
摘要：近期的视频生成模型展示了其作为世界模拟器的潜力，但它们往往难以处理与物理定律偏离的视频，这一关键问题常被大多数文本到视频基准所忽视。我们引入了一个专门用于评估生成视频的物理一致性基准——PhyCoBench。该基准包含120个提示，涵盖7类物理原理，捕捉了视频内容中可观察到的关键物理定律。我们对PhyCoBench上四种现有最先进的（SoTA）文本到视频模型进行了评估，并进行了人工评估。此外，我们提出了一种自动评估模型：PhyCoPredictor，这是一种通过级联方式生成光学流和视频帧的扩散模型。通过对比自动和人工排序的一致性评估，实验结果表明PhyCoPredictor目前最接近于人类评估的标准。因此，它可以有效地评估视频的物理一致性，为未来的模型优化提供见解。我们的基准包括物理一致性提示、自动评估工具PhyCoPredictor以及生成的视频数据集，已在GitHub上发布，地址为https://github.com/Jeckinchen/PhyCoBench。
arXiv:2502.05001v2 宣传类型: 替换交叉
摘要：基于学习的数据结构（LIS）通过利用机器学习模型来优化数据索引，显著提升了数据管理。然而，设计这些结构通常涉及关键的权衡，这使得设计师和最终用户难以找到符合特定工作负载和场景的最佳平衡。一些索引提供了可调参数，需要繁重的手动调优，而另一些则依赖于基于启发式自动调优器或专家知识的固定配置，这可能无法始终提供最优性能。本文介绍了一种名为LITune的新框架，用于端到端自动调优基于学习的数据结构。LITune采用了一个自适应的训练管道，配备了一种定制的深度强化学习（DRL）方法，以确保稳定和高效的调优。为了适应在线调优中出现的长期动态，我们进一步改进了LITune，引入了一种称为O2系统的即时更新机制。这些创新使LITune能够有效地捕捉在线调优场景中的状态转换，并动态调整以适应变化的数据分布和工作负载，从而显著优于其他调优方法。我们的实验结果表明，与选定的基于学习的数据结构的默认参数设置相比，LITune可以将运行时间减少高达98%，并将吞吐量提高17倍。这些发现突显了LITune的有效性及其在实际应用中促进基于学习的数据结构更广泛采用的潜力。
arXiv:2502.04563v2 Announce Type: replace-cross
摘要：新兴的AI加速器越来越多地采用晶圆级制造技术，在基于网格的架构中集成了数十万个AI核心，并配备了大的片上分布式内存（总计达数十GB）和超高的片上内存带宽（数十PB/s）。然而，当前针对共享内存架构（如GPU）优化的LLM推理系统未能充分利用这些加速器。
我们提出了WaferLLM，这是第一个晶圆级LLM推理系统。WaferLLM受到一种新颖的PLMR模型（发音为“Plummer”）的指导，该模型捕捉了晶圆级架构的独特硬件特征。利用该模型，WaferLLM首先开拓了晶圆级LLM并行技术，优化了数十万个片上核心的使用。它还引入了MeshGEMM和MeshGEMV，这是第一种针对晶圆级加速器有效扩展的GEMM和GEMV实现。
评估结果显示，WaferLLM在晶圆级加速器上的利用率比现有系统高出200倍。在一种商用晶圆级加速器上，WaferLLM的GEMV比先进GPU快606倍，且能耗效率高22倍。对于基于16位数据类型的LLM，WaferLLM在Llama3-8B模型上实现2700 tok/sec/req的解码速度，在Qwen2-72B模型上实现840 tok/sec/req的解码速度，从而使解码速度提高了39倍，能耗效率提高了1.7倍。我们预计随着晶圆级AI模型、软件和硬件的不断成熟，这些数字将会显著增长。
arXiv:2502.04210v2 更新类型: replace-cross
摘要: 我们探讨因果关系、对称性和压缩之间的关系。我们在学习与压缩之间的已知联系的基础上进行了扩展和推广，应用到因果模型不可识别的环境中。我们提出了一种框架，在这种框架中，因果关系作为一种在多个环境中压缩数据的后果而出现。我们定义了算法因果性作为一种在传统因果识别假设不成立时的因果性的替代定义。我们展示了如何在无需了解干预目标的情况下，通过最小化柯氏复杂性的上界来产生算法因果性和对称结构。我们假设这些见解也可能为因果关系在大型语言模型等机器学习模型中的出现提供一个新颖的观点，在这些模型中，因果关系可能无法明确识别。
arXiv:2502.02495v2 公告类型：replace-cross
摘要：因果效应（CE）是衡量变量对观测结果因果影响的数值指标。尽管在许多领域中被广泛应用，但仅有一些初步尝试将CE作为数据管理中的归因得分，以数据库中查询回答的元组因果强度为衡量标准。在本项工作中，我们引入、推广并在经典数据库和概率数据库的背景下探讨了所谓的因果效应得分。
arXiv:2501.15544v2 宣告类型: replace-cross
摘要：生成性人工智能，特别是通过大型语言模型（LLMs），有望改变微电网内的能源优化和需求侧管理（DSM）。本文探讨了将LLMs集成到能源管理中，强调其在自动化优化DSM策略方面的角色，特别是在电动汽车互联网方面的作用。我们研究了DSM相关的挑战和解决方案，并探讨了利用LLMs所带来的新机遇。然后，我们提出了一种创新的解决方案，通过检索增强生成来增强LLMs，用于自动问题表述、代码生成和定制化优化。我们通过一个案例研究展示了我们提出解决方案在电动汽车充电调度和优化方面的有效性，突显了我们解决方案在能源效率和用户适应性方面的重大进展。本文强调了LLMs在能源优化方面的潜力，并推动了智能DSM解决方案的新时代。
arXiv:2501.14700v3 宣布类型：replace-cross
摘要：随着网络威胁变得日益复杂，强化学习（RL）正在成为创建智能且适应性强的网络防御系统的有前途的技术。然而，现有大多数自主防御代理忽略了受网络攻击影响的计算机网络固有的图结构，可能会错过关键信息并限制其适应性。为克服这些限制，我们开发了自定义版本的Cyber Operations Research Gym（CybORG）环境，在此环境中将网络状态编码为包含现实低级特征的有向图。我们采用图注意力网络（GAT）架构处理节点、边和全局特征，并将其输出适应与RL中的策略梯度方法兼容。基于GAT的方法在以下几个方面具有优势：能够展示对某些类型意外动态网络拓扑变化的韧性策略；在相同结构分布下能够合理泛化到不同规模的网络；基于具体网络属性可解释的防御行为。我们证明，即使在模拟期间出现意外连接，也可以使用我们的低级有向图观察结果训练GAT防御策略。在不同规模但一致子网络结构的网络上进行的评估表明，我们的策略能够实现与为每个网络配置专门训练的策略相当的性能。本研究为开发能够更好地适应现实世界网络安全部署的可靠网络防御系统做出了贡献。
arXiv:2501.14174v2 通知类型: 替换-交叉
摘要：人类具有将对世界的感知分解为物体及其属性（如颜色、形状和运动模式）的天然能力。这一认知过程使我们能够通过重新组合熟悉的概念来想象新的未来。然而，在人工智能系统中复制这一能力证明颇具挑战，尤其是在将视频建模为构造型概念以及在不依赖辅助数据（如文本、掩码或边界框）的情况下生成未见过的重新组合未来方面。在本文中，我们提出了一种名为 Dreamweaver 的神经架构，该架构旨在从原始视频中发现层次化和构造型表示并生成构造型未来的模拟。我们的方法利用一种新颖的循环块槽单元（RBSU）将视频分解为其构成的物体和属性。此外，Dreamweaver 使用多未来帧预测目标来更有效地捕捉动态概念和静态概念的分离表示。在实验中，我们展示了当在 DCI 框架下跨多个数据集评估时，我们的模型在世界建模方面优于当前最先进的基线模型。此外，我们展示了我们模型的模块化概念表示如何实现构造型想象，从而使用户能够通过从不同物体重新组合属性来生成新的视频。
arXiv:2501.14002v2 通告类型: replace-cross
摘要：数学推理仍然是大型语言模型（LLMs）的一个具有挑战性的领域，这促使开发了专门的数学LLMs，如LLEMMA、DeepSeekMath和Qwen2-Math等。这些模型通常遵循两阶段训练范式：使用数学相关语料进行预训练以及使用问题数据集进行监督微调（SFT）。尽管采取了这些努力，但在连续预训练（CPT）中获得的数学推理改进通常不如通过SFT获得的改进显著。本研究通过探讨预训练阶段的替代策略来解决这一差异，重点关注在CPT过程中使用问题解决数据而非通用数学语料。我们研究了三个主要的研究问题：(1) 在CPT过程中，问题解决数据是否比通用数学语料更有效地增强模型的数学推理能力？(2) 同一来源的合成数据是否同样有效，哪种合成方法最有效？(3) 同一问题解决数据在CPT和SFT阶段发展出的能力有何不同，哪些因素导致这些差异？我们的研究表明，问题解决数据在CPT过程中显著增强了模型的数学能力，与通用数学语料相比。我们还确定了有效的数据合成方法，证明了导师增强合成方法表现出最佳性能。此外，虽然SFT有助于指令遵循能力，但在相同数据下，它在CPT方面的表现不如SFT，部分原因是其对更具挑战性问题解决数据的学习能力较差。这些见解为优化LLMs的数学推理能力提供了宝贵的指导，最终我们开发了一个强大的数学基础模型，称为MathGPT-8B。