LLM2D
HyperCore:构建综合性模块超曲面基础模型的核心框架
HyperCore: The Core Framework for Building Hyperbolic Foundation Models with Comprehensive Modules
作者: Neil He, Menglin Yang, Rex Ying
发布日期: 4/15/2025
arXiv ID: oai:arXiv.org:2504.08912v1

摘要

arXiv:2504.08912v1 论文类型:交叉学科 摘要:双曲神经网络已成为建模不同模态层次化数据的强大工具。最近的研究表明,基础模型中的 token 分布表现出无标度特性,这表明对于许多预训练和下游任务,双曲空间比欧几里得空间更适合作为环境空间。然而,现有的工具缺乏构建双曲基础模型的关键组件,这使得充分利用最近的进展变得困难。我们介绍了 HyperCore,这是一个全面的开源框架,提供了构建跨多种模态的双曲基础模型的核心模块。HyperCore 的模块可以轻松组合,以开发全新的双曲基础模型,从而消除从头大量修改欧几里得模块和可能冗余的研究努力的需求。为了展示其灵活性,我们构建并测试了第一个完全双曲的视觉变换器(LViT),带有微调管道,第一个完全双曲的多模态 CLIP 模型(L-CLIP)以及结合了双曲图编码器的混合 Graph RAG。我们的实验表明,LViT 在性能上优于其欧几里得对应物。此外,我们在双曲图神经网络、卷积神经网络、变换器和视觉变换器上进行基准测试和再现实验,以突出 HyperCore 的优势。