Aug, 2023

扩散语言模型：随着规模和指导微调可执行多种任务

PDF
TL;DR扩展极限语言模型、数据和任务规模可有效地使扩散式语言模型成为强大的语言学习者，并且通过指令调优可以实现零射击和小批量上下文学习能力。
generative aidiffusion probabilistic modelsscaling diffusion modelslanguage tasksinstruction finetuning
发现论文，激发创造
  • 基于似然的扩散语言模型

    该研究基于算法改进和计算资源扩展来提升扩散式语言模型，成功构建了一款表现优于已有模型的大规模扩散语言模型 Plaid 1B。

    May, 2023

  • SSD-2: 扩展和推断时间融合的扩散语言模型

    通过研究和提出 Diffusion-based language models 的新方法，我们成功将 SSD-LM 模型从 0.4B 扩展至 13B 参数，同时提高了其训练和推断的效率，并能够根据指令进行微调，与自回归 LM 相比，Diffusion-based language models 在双向上下文方面的合作更加有效，从而提高了模型响应的质量和相关性。

    May, 2023

  • 语言生成的潜在扩散

    该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

    Dec, 2022

  • 简单有效的遮掩扩散语言模型

    简化的掩码离散扩散模型在语言建模方面的性能优于以往认为的水平，可以用于训练只有编码器的高效采样语言模型，并在语言建模基准测试中取得了最新的最佳结果。

    Jun, 2024

  • NLP 中的扩散模型：一项调查

    本文对自然语言处理中的扩散模型进行了全面的综述，讨论了不同的模型形式、优势和局限性，以及自然语言生成、情感分析、主题建模和机器翻译等应用。与自回归模型相比，扩散模型具有在生成、插值、令牌级控制和鲁棒性方面的显着优势。未来的研究方向包括把 Transformers 和扩散模型更深层次的结合，发展具有优秀的 few-shot learning 能力的多模态扩散模型和大规模扩散语言模型。

    May, 2023

  • 使用软屏蔽噪声的更便宜、更好的扩散语言模型

    介绍了一种新的语言建模扩散模型 Masked-Diffuse LM，通过语言学特征和软掩蔽添加文本失真，通过交叉熵损失函数在每个扩散步骤中直接预测分类分布，以更高效和直接的方式连接连续空间和离散空间，优于目前最先进的扩散模型。

    Apr, 2023

  • 强制语言模型排除扩散分布

    今天的语言模型在随机输出方面表现不佳，本文提出了一种微调方法，鼓励语言模型产生分散的输出分布，使大型语言模型在合成数据集生成方面变得更实用。

    Apr, 2024

  • 扩散模型是多任务强化学习中有效的规划器和数据生成器

    本文提出了一种基于 Transformers 和 prompt 学习的多任务扩散模型 MTDiff，利用扩散模型生成计划和数据合成，实现了跨不同多任务数据之间的隐式知识共享，并在 Meta-World 和 Maze2D 上的 50 个任务和 8 个地图中，达到了比现有算法更好的生成计划效果。

    May, 2023

  • 采用基于扩散的语言模型实现细粒度文本风格转换

    本文研究了基于扩散概率模型的语言模型在细粒度文本风格转换的任务上的应用，并证明了这种模型不仅可以在没有预训练权重、外部嵌入和语法解析器的情况下进行训练，而且在数据资源有限的情况下也能取得优异的效果。

    May, 2023

  • Diffusion-LM 提升可控文本生成能力

    本研究提出了一种基于连续扩散的非自回归语言模型 Diffusion-LM，在语言生成的过程中能够通过简单的基于梯度的算法实现复杂的可控生成任务，并成功地应用在六个难度较大的细粒度控制任务之中，表现出优秀的性能。

    May, 2022