ACLSep, 2017

潜在树学习模型是否能够识别句子中的有意义结构？

PDF
TL;DR通过复制两种无监督学习句子语法结构的神经网络，本研究发现其中只有一种模型在对句子进行分类上表现更出色，但其分析策略随机性大、分析结果相较于常见的 Penn Treebank 结构更为浅显，并且与任何作者所知的语义或句法形式学不上相似。
latent tree learningneural networkssentence understandingparse treesparsing strategies
发现论文，激发创造
  • 使用有序神经元实现潜在树学习：其生成哪些句法结构？

    研究表明，使用 ON-LSTM 等模型进行自然语言处理，可以在没有人为注释的情况下学习组成句法分析，相对最佳状态的性能表现较好，但在解析内部结构更复杂的名词短语时存在困难，并可能高估在动词之前分割点的高度。我们推测采用不同于单向语言建模的训练任务可能有助于解决这两个问题。

    Oct, 2020

  • 神经语言模型语法归纳：一次不寻常的复制实验

    该研究针对最近基于潜在树学习的神经网络模型探索，探索在非解析任务下使用解析值潜变量训练模型，用于发现可解释的树形结构，并成功在语言建模和成分句法分析领域展示了潜在树学习的实用性。

    Aug, 2018

  • 利用无监督树形 LSTMs 联合学习句子嵌入和句法

    该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络，可在自然语言图表解析器的帮助下同时优化组成函数和解析器，进而实现无监督的树形 RNN，并在文本蕴涵任务和反向字典任务中表现优越。

    May, 2017

  • 何时对于深度学习表示学习需要树形结构？

    本文比较了基于语法树递归生成表征的递归神经模型与基于序列生成表征的循环神经模型（包括简单循环和 LSTM 模型）在情感分类、问答匹配、话语解析和语义关系提取等 4 个任务上的效果，并提出一种将长句子分解为类从句单元再分别处理的方法以提高循环模型的性能。研究结果表明递归模型在头词之间相隔较远、序列较长的任务上可优于循环模型，同时也揭示了两类模型的局限性以及未来改进方向。

    Feb, 2015

  • 树形神经句子建模

    本文研究了将基于树的句子编码器中的句法分析树替换成平衡二叉树、左 - 分支树和右 - 分支树等简单树的有效性；结果表明，在没有句法信息的情况下，基于这些简单树的编码器在大多数下游任务中具有竞争力甚至更好的性能，这表明显式的句法指导可能不是基于树的神经句子建模方法表现出色的主要贡献者。

    Aug, 2018

  • StructVAE: 树状结构潜变量模型用于半监督语义解析

    本文介绍了 StructVAE 这样一种半监督语义解析的变分自编码模型，通过学习来自有限的并行数据和广泛可用的未标记的自然语言表述，构建 MRs 树状结构隐藏变量，实验表明，结合额外的未标记数据，StructVAE 可以超越强有力的监督模型在 ATIS 领域和 Python 代码生成任务上的表现。

    Jun, 2018

  • 使用可微分解析器进行潜在树学习：移进 - 规约解析和图表解析

    本研究提出一种基于 Shift-Reduce Parsing 的潜在树学习模型，在下游任务上具有竞争性能表现和重要诱导树，同时使用图表模型进行对比分析。

    Jun, 2018

  • 非监督句法分析中偏倚解析器的关键分析

    本文使用 Shen 等人 (2018) 的句法分析算法来恢复基于 “句法深度” 代理的短语结构树，并使用常规 LSTM 语言模型提供的代理进行比较，发现偏向于右分支结构的解析算法可以夸大语言模型的表现能力。

    Sep, 2019

  • 通过联合学习句法和词汇进行神经语言建模

    本文提出了一种新型的神经语言模型 Parsing-Reading-Predict Networks（PRPN），利用其特定的神经网络结构能够自动识别未标注的句子的句法结构，并利用它来学习更好的语言模型。实验证明，该模型能够发现底层的句法结构，并在单词 / 字符水平的语言模型任务上取得了最先进水平。

    Nov, 2017

  • 神经机器翻译中的潜在句子结构建模

    本篇研究探究了使用不同编码器进行神经机器翻译（NMT）时，受监督 parser 预测的语言结构和拥有潜在变量的句子结构在推断神经网络执行机器翻译任务时的优化作用。结果表明，使用 RNN 编码器时，模型几乎不使用结构感知工具；相反，CNN 和基于词嵌入的编码器依赖于潜在的图表达，能够将有用的潜在依赖编码入网络，在某些情况下能够覆盖较长距离的依赖。

    Jan, 2019