COLINGNov, 2020

半监督自编码投影依存分析

PDF
TL;DR通过深度神经网络处理输入进一步编码为潜在变量，包括在序列中使用连续潜在变量对输入进行编码的局部自编码分析器（LAP）和在依存树中使用依赖树作为潜在变量对输入进行编码的全局自编码分析器（GAP），使用统一结构和不同的损失函数处理有标记和无标记的数据，并在 WSJ 和 UD 依存解析数据集上进行实验，展示模型能够利用未标记的数据来提高性能，并超越以前提出的半监督模型。
autoencodingsemi-supervisedgraph-based projective dependency parsingdeep neural networkslabeled and unlabeled data
发现论文，激发创造
  • 用于无监督依存句法分析的 CRF 自编码器

    本研究提出了一种基于 CRF 自编码器的无监督依赖分析模型，其中编码器部分是辨别式的和全局归一化的，能够使用丰富的特征和通用语言先验，并提出了一种精确算法用于分析以及一种易于处理的学习算法，通过在八个多语言树库上进行模型性能的评估，发现我们的模型取得了与最先进方法相当的性能。

    Aug, 2017

  • 可微扰动和解析：用结构化变分自编码器进行半监督解析

    为了改善句法解析器，我们提出了一种新的潜变量生成模型，可以使用大量的未标记文本来进行半监督学习，并通过可微的动态规划来提高解析器的准确性。

    Jul, 2018

  • 半监督序列自编码器语义解析

    我们提出了一种新颖的半监督方法，应用于序列转换和语义分析。该方法包含基于生成模型的无监督成分，在该模型中，潜在的句子生成不成对的逻辑形式，我们将此方法应用于许多语义解析任务，重点关注训练数据标记不足的领域，并使用合成逻辑形式扩充这些数据集。

    Sep, 2016

  • 一个用于依存图解析的半自回归图生成模型

    本文针对现有神经依存分析模型中，autoregressive 和 non-autoregressive 模式的缺陷，提出了一种 semi-autoregressive 模型来提高句法分析的准确性。该模型在多种语言的实验中体现出较好的性能表现。

    Jun, 2023

  • 生成增强预训练用于语义解析的上下文表示学习

    通过 Generation-Augmented Pre-training 来解决现有通用语言模型在文本与 SQL 语义解析器中存在的问题，并在 SPIDER 和 CRITERIA-TO-SQL 基准测试中获得了新的最先进的结果。

    Dec, 2020

  • 使用后期解码技术实现跨语言依存解析在真正低资源语言中的应用

    本研究提出了一种基于图形的端到端神经网络依赖解析器，这种解析器可以训练为复制边缘得分矩阵，从而可以直接在单词对齐上进行投影，并取得了相较于之前的最新技术，在 10 种语言上的 2.25% 的绝对改善。

    Jan, 2017

  • 图像字幕和视觉问答自动解析网络

    提出了一种自动解析网络（APN），将概率图像模型（PGM）参数化为自注意层上的注意操作，以将稀疏假设合并到输入序列的分段中，从而提高基于 Transformer 的视觉语言系统的效率。

    Aug, 2021

  • 关联和预测：基于结构的预测与联合优化的神经 DAG

    本研究提出了一个基于深度神经网络的框架，dGAP，通过同时学习神经依赖图和优化具有结构感知目标预测，来建立特征关系的模型，提高了预测的准确性，可以实现特征关系的解析，适用于多种数据集。

    Mar, 2021

  • StructVAE: 树状结构潜变量模型用于半监督语义解析

    本文介绍了 StructVAE 这样一种半监督语义解析的变分自编码模型，通过学习来自有限的并行数据和广泛可用的未标记的自然语言表述，构建 MRs 树状结构隐藏变量，实验表明，结合额外的未标记数据，StructVAE 可以超越强有力的监督模型在 ATIS 领域和 Python 代码生成任务上的表现。

    Jun, 2018

  • 有向图自编码器

    本文介绍了一种新型自动编码器，用于有向图的建模，该模型使用带参数图卷积网络 (GCN) 层作为编码器和不对称内积解码器，学习了一对可解释的节点潜在表征，并在几个流行的网络数据集中展示了该模型在有向链接预测任务上取得了优异的性能。

    Feb, 2022