EMNLPAug, 2018

应用可逆神经投影进行无监督学习句法结构

PDF
TL;DR提出了一种新颖的生成模型，通过串联一个可逆神经网络和一个结构化的生成先验，在无监督的情况下联合学习离散的句法结构和连续的词表示，实现了高效的精确推断和边缘似然计算，并在两个任务中进行了实验评估。
unsupervised learninggenerative modelssyntactic structurecontinuous word representationneural network
发现论文，激发创造
  • 使用监督学习发现潜在结构的句法类型学细粒度预测

    本研究展示了如何通过部分语音序列对一个新语言的基本语序事实进行预测，并且通过大量的合成语言训练数据，将这个通常被认为是无监督学习的问题转化成了有监督学习，从而成功地识别了一个语言的 POS 序列的表面特征（手工特征或神经特征）与其更深层次的结构（潜在树）相关性。该系统在该任务上表现出色，比语法归纳基线高出一个很大的优势。

    Oct, 2017

  • 通过联合学习句法和词汇进行神经语言建模

    本文提出了一种新型的神经语言模型 Parsing-Reading-Predict Networks（PRPN），利用其特定的神经网络结构能够自动识别未标注的句子的句法结构，并利用它来学习更好的语言模型。实验证明，该模型能够发现底层的句法结构，并在单词 / 字符水平的语言模型任务上取得了最先进水平。

    Nov, 2017

  • 从语言模型中归纳语言结构

    该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。

    Mar, 2024

  • 无监督分析的层次 Transformer

    本文扩展了转换器模型，使其能够学习自然语言中的层次结构，得到了较好的无监督语法分析结果。

    Mar, 2020

  • 在神经堆栈中寻找句法表示

    本文通过探究无监督条件下对成分结构的学习，提出了使用一种技术从堆叠循环神经网络的推送行为中提取句法树，证明堆叠循环神经网络确实推断出了具有语言学相关的层次结构。

    Jun, 2019

  • 从上下文化单词表示中无监督地提取句法信息

    本文讲述了如何通过自动生成语义不同但结果相似的句子组集来学习一种转换，以去除词法语义但保留结构信息，并证明这种方法在结构聚类方面的效果优于词汇语义聚类方法，最终在少样本解析任务中优于原始上下文化语言表示。

    Oct, 2020

  • 深度学习方法的句法归纳偏置

    我们在本文中介绍了两种归纳偏差方法，分别针对语法结构和依赖关系，实现了深度学习模型的归纳偏差，并通过这些方法建立了深度学习模型的潜在分层表示，使模型能够处理复杂的序列结构并在语言处理任务中取得了优秀的效果。

    Jun, 2022

  • 通过可逆神经网络学习解释的非耦合语义空间

    本文提出了一种将 BERT-GPT2 自编码器的隐藏空间转换为更易分离的语义空间的方法，借助于基于流的可逆神经网络 (INN)，实验结果表明，这种方法能够比最新的最先进模型更好地实现语义的分离和可控性。

    May, 2023

  • 一种基于模仿学习的无监督解析方法

    我们提出了一种模仿学习的无监督句法分析方法，将 PRPN 诱导的句法知识转移到带有离散句法分析操作的 Tree-LSTM 模型上，并通过 Gumbel-Softmax 训练不断优化其策略以实现更好的语义目标。在 All-NLI 数据集上进行实验，证明我们的方法在句法得分上超过了基准模型，包括 PRPN。

    Jun, 2019

  • 利用无监督树形 LSTMs 联合学习句子嵌入和句法

    该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络，可在自然语言图表解析器的帮助下同时优化组成函数和解析器，进而实现无监督的树形 RNN，并在文本蕴涵任务和反向字典任务中表现优越。

    May, 2017