通过复制两种无监督学习句子语法结构的神经网络,本研究发现其中只有一种模型在对句子进行分类上表现更出色,但其分析策略随机性大、分析结果相较于常见的 Penn Treebank 结构更为浅显,并且与任何作者所知的语义或句法形式学不上相似。
Sep, 2017
本文针对移位 - 归约分析的相对弱点,利用双向 LSTM 模型提取向前追望特征,并将结果传递给强大的过渡性成分分析器,提高了 1.3% 在 WSJ 和 2.3% 在 CTB 中的准确性。
Dec, 2016
该研究针对最近基于潜在树学习的神经网络模型探索,探索在非解析任务下使用解析值潜变量训练模型,用于发现可解释的树形结构,并成功在语言建模和成分句法分析领域展示了潜在树学习的实用性。
Aug, 2018
本文探讨了基于转换系统的移进规约语义分析器,利用 Cutting-edge Transformer 架构和 In-order 算法,结合 Facebook TOP 基准中的多个领域的广泛测试,本方法在高资源和低资源情况下均超过了现有的移进规约解析器和最先进的序列到序列模型。
Oct, 2022
该文章提出了一种新颖的非二元移进 - 规约算法用于组成句法分析,其比现有的基于移进 - 规约的组成句法分析系统使用更少的转换,成为最快的该类系统,以此加快下游任务的速度。该算法的准确性可以与当前最先进的基于移进 - 规约技术的组成句法分析器相媲美,同时在 Wall Street Journal 部分中,它超过所有自上而下有效移进 - 规约的系统。
Apr, 2018
本文提出了一种新的中间表示法,基于这种表示法,我们将短语表示分析转化为依存分析,并通过在依存标签中编码顺序信息,表明任何可训练的依存分析器都可以用来生成 constituents。尽管我们的方法很简单,但实验证明,结果与强基准线(例如伯克利解析器和 SPMRL 2014 共享任务中最好的单一系统)不相上下,特别是在德语断点解析方面,我们超过了当前的技术水平。
Feb, 2015
该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络,可在自然语言图表解析器的帮助下同时优化组成函数和解析器,进而实现无监督的树形 RNN,并在文本蕴涵任务和反向字典任务中表现优越。
May, 2017
研究表明,使用 ON-LSTM 等模型进行自然语言处理,可以在没有人为注释的情况下学习组成句法分析,相对最佳状态的性能表现较好,但在解析内部结构更复杂的名词短语时存在困难,并可能高估在动词之前分割点的高度。我们推测采用不同于单向语言建模的训练任务可能有助于解决这两个问题。
Oct, 2020
本篇研究介绍了一种使用 SparseMAP inference 进行训练的方式,可以在维持可区分性的同时,实现从全局潜在结构建立不受限制的动态计算图,从而助力于深度神经网络建模的训练。
Sep, 2018
本文提出了一种新的基于图的方法来进行语义解析,解决了文献中观察到的两个问题:(1) seq2seq 模型无法完成组合泛化任务;(2) 使用短语结构解析器的先前工作无法涵盖树库中观察到的所有语义解析。我们证明了两个优化算法的正确性,用基于约束平滑和条件渐变的方法近似解决这些推断问题。实验证明,我们的方法在 Geoquery、Scan 和 Clevr 上都具有最先进的效果,包括在测试组合泛化的过程中。
Feb, 2023