摘要
无监督句法分析,也称为语法归纳,旨在从原始文本中推断句法结构。最近,二元表示在词汇和句法层面都展现出非凡的信息保存能力。本文探讨了利用这种能力从原始文本中推断句法树的可能性,仅仅依赖于模型中隐式诱导的语法。为了实现这一点,我们将位级CKY从零阶升级到一阶,以在统一的二元表示空间中编码词汇和句法,将训练从监督式转换为无监督式,并在对比哈希框架下进行,并引入了一种新的损失函数,以施加更强但平衡的对齐信号。我们的模型在各种数据集上表现出具有竞争力的性能,因此,我们认为我们的方法足够有效和高效,能够以低成本从预训练语言模型中获取高质量的句法树。