ACLJun, 2018

一种用于上下文形态变化的结构化变分自编码器

PDF
TL;DR使用生成型潜变量模型和变分推断方法解决未标注数据下降低资源被限制的语言对词形变化生成的研究问题，实验中得到一些语言中 10% 准确性的提高。
statistical morphological inflectorssemi-supervised learninggenerative latent-variable modelvariational inference procedurelow-resource setting
发现论文，激发创造
  • 变分预训练用于半监督文本分类

    介绍了 VAMPIRE，这是一个轻量级的预训练框架，可用于在数据和计算资源有限的情况下进行有效的文本分类。使用无标记的领域内语料库通过变分自编码器实现 unigram 文档模型的预训练，并将其内部状态作为下游分类器的特征。在低资源情况下，我们经验证明 VAMPIRE 相对于昂贵的上下文嵌入和其他流行的半监督基线的优势。我们还发现，在有限的监督条件下，微调领域内数据对于从上下文嵌入中实现良好性能至关重要。伴随本文提供了预训练 VAMPIRE 嵌入的代码。

    Jun, 2019

  • 可微扰动和解析：用结构化变分自编码器进行半监督解析

    为了改善句法解析器，我们提出了一种新的潜变量生成模型，可以使用大量的未标记文本来进行半监督学习，并通过可微的动态规划来提高解析器的准确性。

    Jul, 2018

  • 形态变化的语境化

    本文介绍了一种利用神经混合图模型构建并预测词形变化的方法，并将其与传统的形态学变化或表面实现进行了比较，证明了将语言学驱动的潜在变量纳入 NLP 模型的实用性。

    May, 2019

  • StructVAE: 树状结构潜变量模型用于半监督语义解析

    本文介绍了 StructVAE 这样一种半监督语义解析的变分自编码模型，通过学习来自有限的并行数据和广泛可用的未标记的自然语言表述，构建 MRs 树状结构隐藏变量，实验表明，结合额外的未标记数据，StructVAE 可以超越强有力的监督模型在 ATIS 领域和 Python 代码生成任务上的表现。

    Jun, 2018

  • 基于语法的变分自编码器用于文本生成

    本研究提出了一种语法融入变分自编码器（SIVAE），通过集成句法树来提高生成句子的语法，在生成模型上有独立的潜变量空间，可以用于句法控制的句子生成和无监督的改写任务。

    Jun, 2019

  • 联合变分生成增强口语理解数据

    本文提出了一种新的生成架构，旨在借助潜在变量模型的生成能力来共同合成完全注释的话语，并经过实验验证，通过人工合成数据集来训练 SLU 模型，在不同数据集和模型中获得了性能提升。

    Sep, 2018

  • 基于 Transformer 的变分自编码器中的图引发的句法 - 语义空间

    通过多任务学习或双编码器架构将分布语义特征和句法结构的编码分离成异构的潜空间，整合基于图和序列模型，通过低秩算子将多个专门的潜在表示注入解码器的注意机制，结果显示所提出的端到端 VAE 架构可以得到更好的潜空间整理，减轻标准 VAE 架构中发生的信息丢失，从而改善语言建模和下游生成任务的性能。

    Nov, 2023

  • 面向结构化数据的语法导向变分自编码器

    通过引入 stochastic lazy attributes，提出了一种基于语法制导的变分自编码器以捕捉离散结构的语法和语义约束，并使用编程语言和分子优化等应用程序对其进行了评估。

    Feb, 2018

  • 半监督文本分类的变分自编码器

    提出了一种半监督顺序变分自编码器 (SSVAE) 用于文本分类，在解码器中增加了标签信息，并使用一种新颖的优化方法减少了训练中的计算复杂性，实验结果表明该方法在 IMDB 数据集和 AG 新闻语料库上的分类精度显著提高，与之前的先进方法相当。

    Mar, 2016

  • 半监督序列自编码器语义解析

    我们提出了一种新颖的半监督方法，应用于序列转换和语义分析。该方法包含基于生成模型的无监督成分，在该模型中，潜在的句子生成不成对的逻辑形式，我们将此方法应用于许多语义解析任务，重点关注训练数据标记不足的领域，并使用合成逻辑形式扩充这些数据集。

    Sep, 2016