LLM2D
揭示多模态基础模型的本体承诺
Unveiling Ontological Commitment in Multi-Modal Foundation Models
作者: Mert Keser, Gesina Schwalbe, Niki Amini-Naieni, Matthias Rottmann, Alois Knoll
发布日期: 9/26/2024
arXiv ID: oai:arXiv.org:2409.17109v1

摘要

本体论承诺,即使用的概念、关系和假设,是定性推理 (QR) 模型的基石。然而,处理原始输入的最新技术是深度神经网络 (DNN),如今通常基于多模态基础模型。这些模型自动学习概念及其相应推理的丰富表示。不幸的是,学习到的定性知识是不透明的,无法轻松检查、验证或适应现有的 QR 模型。到目前为止,可以将预定义的概念与 DNN 的潜在表示相关联,但可提取的关系主要限于语义相似性。作为 QR 用于验证和验证 DNN 的下一步:具体来说,我们提出了一种方法,该方法从给定叶概念集的多模态 DNN 中提取学习到的超类层次结构。在幕后,我们 (1) 使用 DNN 的文本输入模态获取叶概念嵌入;(2) 对它们应用层次聚类,使用 DNN 通过向量距离编码语义相似性;(3) 使用在 QR 中可用的本体中的搜索来标记由此获得的父概念。初步评估研究表明,可以从最先进的基础模型中提取有意义的本体类层次结构。此外,我们展示了如何根据给定的本体验证和验证 DNN 学习到的表示。最后,我们讨论了 QR 方面的潜在未来应用。