arXiv:2505.00004v1 类型: cross 摘要: 我们提出了LangVAE，这是一种基于预训练大语言模型(LLMs)构建变分自编码器(VAEs)模块化框架的新方法。这样的语言模型VAE能够将其预训练组件的知识编码进更紧凑且语义上解耦的表示中。通过这种方式获得的表示可以用LangVAE配套框架LangSpace进行分析：LangSpace实现了多种探针方法，如向量遍历和插值、解耦度量以及聚类可视化。LangVAE和LangSpace提供了一种灵活、高效且可扩展的方式来构建和分析文本表示，同时与HuggingFace Hub上的模型具有简单的集成性。此外，我们还进行了不同编码器和解码器组合以及注解输入的一系列实验，揭示了不同类型和规模架构在泛化能力和解耦方面广泛的存在形式。我们的研究结果展示了系统化实验和理解文本表示的一种有前景的框架。