摘要
arXiv:2502.10725v2 Announce Type: replace-cross
摘要:基于变压器的嵌入方法近年来在句子表示领域占据了主导地位。尽管它们在自然语言处理任务(如语义文本相似性任务)上取得了卓越的性能,但它们的黑盒性质和依赖大量数据的训练方式引发了关于偏差、信任和安全方面的问题。许多人已经致力于提高嵌入模型的可解释性,但这些问题尚未根本解决。为了实现内置的可解释性,我们提出了一种纯白盒且类人类的句子表示网络——PropNet。PropNet受到认知科学发现的启发,基于句子中包含的命题构建了一个层次网络。虽然实验表明,在语义文本相似性任务(SOTA)嵌入模型方面,PropNet存在显著差距,但案例研究表明仍有很大的改进空间。此外,PropNet使我们能够分析和理解ST斯马克任务背后的人类认知过程。