一种基于模仿学习的无监督解析方法

ACLJun, 2019

一种基于模仿学习的无监督解析方法

An Imitation Learning Approach to Unsupervised Parsing

Bowen Li, Lili Mou, Frank Keller

TL;DR我们提出了一种模仿学习的无监督句法分析方法，将 PRPN 诱导的句法知识转移到带有离散句法分析操作的 Tree-LSTM 模型上，并通过 Gumbel-Softmax 训练不断优化其策略以实现更好的语义目标。在 All-NLI 数据集上进行实验，证明我们的方法在句法得分上超过了基准模型，包括 PRPN。

Abstract

Recently, there has been an increasing interest in unsupervised parsers that optimize semantically oriented objectives, typically using reinforcement learning. Unfortunately, the learned trees often do not match actual syntax trees well. Shen et al. (2018) propose a →

unsupervised parsers reinforcement learning structured attention mechanism imitation learning approach tree-lstm model

发现论文，激发创造

通过联合学习句法和词汇进行神经语言建模

本文提出了一种新型的神经语言模型 Parsing-Reading-Predict Networks（PRPN），利用其特定的神经网络结构能够自动识别未标注的句子的句法结构，并利用它来学习更好的语言模型。实验证明，该模型能够发现底层的句法结构，并在单词 / 字符水平的语言模型任务上取得了最先进水平。

Nov, 2017

规则增强的无监督短语结构句法分析

该研究提出了一种基于语法规则的非监督句法树生成方法，利用了语言的通用语法知识，采用强化学习和自编码器等技术，在 MNLI 和 WSJ 两个基准数据集上实现了最好的结果。

May, 2021

具有潜在树状注意力的神经机器翻译

我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型，利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构，从而训练出在字符级数据集中相当不错的分割和浅层解析表现，接近注意力基准。

Sep, 2017

使用有序神经元实现潜在树学习：其生成哪些句法结构？

研究表明，使用 ON-LSTM 等模型进行自然语言处理，可以在没有人为注释的情况下学习组成句法分析，相对最佳状态的性能表现较好，但在解析内部结构更复杂的名词短语时存在困难，并可能高估在动词之前分割点的高度。我们推测采用不同于单向语言建模的训练任务可能有助于解决这两个问题。

Oct, 2020

非监督句法分析中偏倚解析器的关键分析

本文使用 Shen 等人 (2018) 的句法分析算法来恢复基于 “句法深度” 代理的短语结构树，并使用常规 LSTM 语言模型提供的代理进行比较，发现偏向于右分支结构的解析算法可以夸大语言模型的表现能力。

Sep, 2019

利用无监督树形 LSTMs 联合学习句子嵌入和句法

该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络，可在自然语言图表解析器的帮助下同时优化组成函数和解析器，进而实现无监督的树形 RNN，并在文本蕴涵任务和反向字典任务中表现优越。

May, 2017

神经语言模型语法归纳：一次不寻常的复制实验

该研究针对最近基于潜在树学习的神经网络模型探索，探索在非解析任务下使用解析值潜变量训练模型，用于发现可解释的树形结构，并成功在语言建模和成分句法分析领域展示了潜在树学习的实用性。

Aug, 2018

无监督分析的层次 Transformer

本文扩展了转换器模型，使其能够学习自然语言中的层次结构，得到了较好的无监督语法分析结果。

Mar, 2020

基于自注意力头的无监督成分句法分析

本研究使用 Transformer-based pre-trained language models 并提出一种全新的无监督分析方法，通过引入一个高排名头部的集合，用于从语法角度分析 PLMs 的学习知识，从而提取出 PLMs 的句法知识，并用这些知识来训练神经 PCFG，最终与人类注释的语法树库得到比较。

Oct, 2020

潜在树学习模型是否能够识别句子中的有意义结构？

通过复制两种无监督学习句子语法结构的神经网络，本研究发现其中只有一种模型在对句子进行分类上表现更出色，但其分析策略随机性大、分析结果相较于常见的 Penn Treebank 结构更为浅显，并且与任何作者所知的语义或句法形式学不上相似。

Sep, 2017