LLM2D
PropNet:一种白盒且类人类的句子表示网络
PropNet: a White-Box and Human-Like Network for Sentence Representation
作者: Fei Yang
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.10725v1

摘要

arXiv:2502.10725v1 标题类型: cross 摘要:基于Transformer的嵌入方法近年来在句子表示领域占据主导地位。尽管它们在语义文本相似性(STS)等NLP任务中取得了显著的性能,但其黑盒性质和以大数据驱动的训练方式引发了关于偏差、信任和安全性的问题。许多努力旨在提高嵌入模型的可解释性,但这些问题并未从根本上解决。为了实现固有的可解释性,我们提出了一种纯白盒且类人的句子表示网络,PropNet。受到认知科学发现的启发,PropNet基于句子所含的命题构建了一个层次化的网络。实验表明,在STS任务中,PropNet与最先进的(SOTA)嵌入模型相比存在显著差距,但案例研究揭示了其改进的巨大潜力。此外,PropNet使我们能够分析和理解ST斯基准背后的人类认知过程。