May, 2022

变形金刚作为神经增强器：通过变分贝叶斯实现类条件句子生成

PDF
TL;DR本篇论文提出了一种基于条件变分自编码器和编码 - 解码 Transformer 模型结合的神经数据增强方法，可以在句子级别捕捉自然语言处理任务的多样性，同时在监督任务上具有更好的泛化性能，实验证明该方法对于强化自然语言处理的下游任务有较好的效果。
data augmentationnatural language processingneural data augmentationconditional variational autoencoderencoder-decoder transformer model
发现论文，激发创造
  • 使用预训练 Transformer 模型进行数据增强

    本文研究了不同类型的基于 Transformer 的预训练模型（如 GPT-2，BERT 和 BART），并探索了在数据增强方面，如何在文本序列之前添加类标签提供了一种简单而有效的条件方法，预先训练的 Seq2Seq 模型在低资源环境下胜过了其他数据增强方法，在数据分布和类标签信息保存方面也进行了探讨。

    Mar, 2020

  • 多样化回复生成的变分 Transformer

    本文提出了变分 Transformer（VT）算法，将变分自注意力前馈序列模型与 CVAE 的变分性质相结合，从而有效处理对话响应生成领域中高熵任务的问题，并在多个对话数据集上获得了性能提升。

    Mar, 2020

  • 条件 BERT 上下文增强

    提出一种名为条件 BERT 上下文增强的有标注句子的新数据增强方法，基于 BERT 的条件掩蔽语言模型，通过替换预测到的更多变化的子词来增加标注的语句的多样性，实验显示该方法可以轻松应用于卷积或循环神经网络分类器中以获得明显的改进。

    Dec, 2018

  • 基于 Transformer 的有条件变分自编码器对话生成

    该论文介绍了一种新的 CVAE-T 对话模型，基于 Transformer 的结构，通过训练包含正负样本的数据并引入正则化项，可以在生成回复时提高信息量。

    Oct, 2022

  • 条件变分自编码器用于神经机器翻译

    探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能，通过引入连续潜变量来增强编码器 - 解码器 NMT 范例，利用 Inference Network 中的共同关注机制来扩展该模型，使用不同方法试图缓解后验崩溃问题，并且探究学习潜空间的能力，该模型能有效地优化翻译模型。

    Dec, 2018

  • 预训练和插接：基于变分自编码器的灵活条件文本生成

    本文介绍一种新的名为 PPVAE 的框架，用于灵活的条件文本生成。PPVAE 将文本生成模块与条件表示模块解耦，以允许 “一对多” 条件生成，并且对于新出现的条件，只需要训练轻量级网络并作为 PPVAE 的插件，这对于实际应用非常有效和理想。广泛的实验表明，PPVAE 比现有的其他技术具有更好的条件性和多样性，但需要更少的训练工作量。

    Nov, 2019

  • 基于 Transformer 的条件变分自编码器用于可控的故事生成

    本文提出了一种基于转换器和变分自动编码器（VAE）的条件变分自动编码器（CVAE）方法，在保持卓越的生成效果的同时增强了可控性和表征学习能力，实现了对长文本的神经故事生成。

    Jan, 2021

  • 变分神经机器翻译

    本文提出了一种变分神经机器翻译编码器 - 解码器模型，引入了一个连续潜变量来明确建模源句子的潜在语义并引导目标翻译的生成，通过神经后验估计技术对该模型进行训练，在中英文和英德翻译任务中实现了显著的性能提升。

    May, 2016

  • 智能人工代理数据增强的可控文本生成

    通过文本生成技术，使用编码器 - 解码器生成模型来增加受训人工智能代理的训练数据，从而实现更快地开发新功能。该方法需要直接优化，适用于有限的数据，并明显优于以往的受控文本生成技术。此外，生成的数据用作外在意图分类任务的附加训练样本，增强了低资源情况下高达 5％绝对 f-score 性能的表现，证实了该方法的实用性。

    Oct, 2019

  • 神经原型语言重建

    通过数据增强、使用变分自动编码器 (VAE) 结构的 Transformer 模型和神经机器翻译模型，通过改进之前的方法来提高原型形态重建的性能。

    Apr, 2024