COLINGApr, 2024

DiffusionDialog：擴散模型用於具有潛在空間的多樣對話生成

PDF
TL;DRDiffusionDialog 是一种新的方法，通过引入扩散模型来增强对话生成的多样性。在该方法中，我们将连续潜变量引入扩散模型，通过与编码器结合，将响应的潜在表示编码为连续空间的先验，并通过扩散模型逐步去噪来推断潜变量。实验结果表明，我们的模型在保持连贯性的同时极大地增强了对话回应的多样性。此外，进一步的分析发现我们的扩散模型实现了高效的推断，这是在自然语言处理中应用扩散模型的主要挑战。
发现论文，激发创造
  • 语言生成的潜在扩散

    该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

    Dec, 2022

  • 潜变量对话模型及其多样性

    该研究提出了一种对话生成模型，直接捕获了可能的多样性响应，从而减少了确定性对话模型的‘无聊输出’问题。实验表明，与基线模型相比，我们的模型生成更多样的输出，并且比从确定性编码器 - 解码器模型中进行抽样生成的输出更加一致接受。

    Feb, 2017

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 多样扩散：提升文本到图像生成中的图像多样性

    通过增加图像多样性，我们的方法有助于创造更具包容性和代表性的人工智能生成艺术。

    Oct, 2023

  • 使用软屏蔽噪声的更便宜、更好的扩散语言模型

    介绍了一种新的语言建模扩散模型 Masked-Diffuse LM，通过语言学特征和软掩蔽添加文本失真，通过交叉熵损失函数在每个扩散步骤中直接预测分类分布，以更高效和直接的方式连接连续空间和离散空间，优于目前最先进的扩散模型。

    Apr, 2023

  • 使用 LLMs 和潜在扩散模型进行互动式时尚内容生成

    该研究提出了使用基于能量的模型（EBMs）的扩散模型的等价性，建议组成多个概率分布的方法，并提出了一个通过 LLM 引导文本生成图像生成新时尚装配和虚拟试穿的流程，其结果表明使用 LLM 生成具有全球创意和文化多样性的时尚风格并减少偏见。

    May, 2023

  • 信息扩散：使用信息最大化扩散模型的表示学习

    InfoDiffusion 增强了扩散模型，通过低维潜在变量捕捉数据中的高层次变化，从而获得高质量的样本并生成可操作的可解释潜在表示，具有生成设计等方面的潜在应用价值。

    Jun, 2023

  • Diffusion-LM 提升可控文本生成能力

    本研究提出了一种基于连续扩散的非自回归语言模型 Diffusion-LM，在语言生成的过程中能够通过简单的基于梯度的算法实现复杂的可控生成任务，并成功地应用在六个难度较大的细粒度控制任务之中，表现出优秀的性能。

    May, 2022

  • 基于相类模型的参数化和数据同化的潜隐式扩散模型

    地质参数化中使用低维潜变量进行降维，结合扩散模型和隐含扩散模型，通过去噪实现从含有噪声的输入场生成新的地质实现，该模型经过稳定性测试，并用于基于集合的数据同化，实现了显著的不确定性降低和一致的地质模型。

    Jun, 2024

  • 通过混合潜变量实现多样化、相关性和连贯性的开放式对话生成

    本文提出了一种基于连续和离散的混合潜变量方法（Hybrid Latent Variable method），并构建了一种 Conditional Hybrid Variational Transformer（CHVT）模型，该模型可以生成具有多样性且具有相关性和连贯性的对话。实验结果表明，与传统的 transformer-based 变分机制相比，CHVT 在多样性、相关性和连贯性指标方面具有优势。同时，本文还展示了将 HLV 应用于微调两个预训练对话模型（PLATO 和 BART-base）的好处。

    Dec, 2022