Nov, 2015

如何（不）训练生成模型：定时采样，似然度，对手

PDF
TL;DR本篇论文针对基于深度学习的文本和图像生成模型的目标函数进行了探讨，提出了替代 maximum likelihood 训练目标函数的方法，引入了一种广义的对抗训练方法。
generative modelsdeep learningscheduled samplingmaximum likelihoodadversarial training
发现论文，激发创造
  • Flow-GAN：在生成模型中结合最大似然和对抗学习

    通过混合训练方式，利用生成对抗网络以及精确似然估计评估方法，解决了最大似然训练无法评估生成质量的问题。

    May, 2017

  • 神经文本生成中的动态计划采样与模仿损失

    本文介绍了一种基于 Dynamic Scheduled Sampling with Imitation Loss (DySI) 的神经文本生成模型，该模型通过引入模仿损失和动态调度表，解决了常见的曝光偏差问题，在标准机器翻译基准测试数据集上获得了显著的性能提升，并提高了其他文本生成模型的鲁棒性。

    Jan, 2023

  • 可微分的计划采样用于信用分配

    通过对序列到序列模型进行不断松弛极值操作，结合 Bengio 等人的 sample scheduled 采用新的连续可微方法，获得可为贴在所有点求导的梯度，从而在命名实体识别、机器翻译等任务中优于交叉熵训练与 sample scheduled。

    Apr, 2017

  • 最大似然增强离散生成对抗网络

    本文介绍了将生成对抗网络应用于自然语言任务的困难之处，提出了一种新的最大似然增强离散生成对抗网络方法，并在多个数据集上进行实验证明了其优越性。

    Feb, 2017

  • 生成模型的自适应密度估计

    该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

    Jan, 2019

  • 任务特定对抗代价函数

    研究讨论了生成模型的成本函数对于不同任务的优化策略，并提出了一种新的对抗成本函数，可以在手写字符的生成、检索和一次性学习任务中进行评估。

    Sep, 2016

  • 基于任务导向多目标优化生成对抗性样本

    本研究提出了面向任务的多目标优化方法（Task Oriented MOO）来对抗对抗性示例生成过程中的问题进行优化，重点放在改进未达成目标的任务上，实现了对抗性训练的提高。

    Apr, 2023

  • 并行计划采样

    本文介绍了一种简单的方法，通过时间并行化可以减轻固定顺序随机替换预测值的 “计划采样”，并在图像生成、文本摘要、对话生成和翻译等任务中实现与传统教师强制训练相当或更好的性能。

    Jun, 2019

  • 自对抗学习贝叶斯采样

    本文提出一种新的自我对抗学习框架，用于通过学习条件生成器来生成高质量的样本，并自动学习马尔可夫内核的行为，从而逐渐逼近目标分布，从而在可扩展 Bayesian 采样和非监督深度学习模型等方面取得优势。

    Nov, 2018

  • 半监督信息检索的对抗采样和训练

    本文提出一种针对 ad-hoc 检索模型的数据不平衡及神经网络模型易受对抗干扰等问题的对抗性采样和训练框架，通过增强点击示例和获得非常信息化的非点击示例来学习 ad-hoc 检索模型，并在常见 ad-hoc 检索任务（如网络搜索，项目推荐和问答）的基准数据集上进行实验，结果表明该方法在高排名文档方面显着优于强基线，并且在使用仅占 5％的已标记数据对 IRGAN 在 NDCG@5 上实现更好的表现。

    Nov, 2018