LLM2D
通过语义接地学习语言结构
Learning Language Structures through Grounding
作者: Freda Shi
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2406.09662v2

摘要

语言具有高度的结构性,语法和语义结构在一定程度上为同一语言的使用者所认同。人类在隐式或显式地意识到这些结构的情况下,可以有效地学习和使用语言,并将其推广到包含未见词的句子中。受人类语言学习的启发,在本论文中,我们考虑了一系列机器学习任务,旨在通过接地学习语言结构。我们寻求来自其他数据源(即接地)的远程监督,包括但不限于其他模态(例如,视觉)、程序执行结果和其他语言。 我们通过三种方案展示了这种任务公式的潜力,并倡导其采用。在第一部分,我们考虑通过视觉接地学习句法分析。我们提出了视觉接地语法归纳的任务,提出了第一个从视觉接地文本和语音中归纳句法结构的模型,并发现视觉接地信号可以帮助提高解析质量,优于仅使用语言的模型。作为一项附带贡献,我们提出了一种新的评估指标,该指标能够在不涉及文本或自动语音识别系统的情况下评估语音解析。在第二部分,我们提出了两种执行感知方法,将句子映射到相应的语义结构(即程序),显着提高了组合泛化和少样本程序合成。在第三部分,我们提出了从其他语言的注释中学习语言结构的方法。具体来说,我们提出了一种在跨语言词对齐方面取得了最新进展的方法。然后,我们利用学习到的词对齐来提高零样本跨语言依存句法分析的性能,提出了一种新颖的基于子结构的投影方法,该方法保留了从源语言学习到的结构知识。