ICLROct, 2022
DiffuSeq:使用扩散模型进行序列到序列的文本生成
DiffuSeq: Sequence to Sequence Text Generation with Diffusion Models
Shansan Gong, Mukai Li, Jiangtao Feng, Zhiyong Wu, Lingpeng Kong
TL;DR通过使用 DiffuSeq,我们设计了一种扩散模型,可用于序列到序列文本生成任务,具有与预训练语言模型等六种基线相比甚至更好的性能和高多样性。我们还包括理论分析,揭示 DiffuSeq 和自回归 / 非自回归模型之间的连接,并展示了扩散模型在复杂条件语言生成任务中的巨大潜力。