关键词discrete diffusion models
搜索结果 - 7
- 您的吸收离散扩散隐秘地建模清洁数据的条件分布
离散扩散模型中的吸收过程显示出潜力，该过程在语言建模中表现良好。我们提出了重新参数化的吸收离散扩散（RADD）模型，该模型旨在表征时间独立条件概率，并证明了吸收扩散的准确似然可以有效地通过蒙特卡洛方法进行估计。该方法在零样本语言建模测试中显 - 改善和统一的离散和连续时间离散去噪扩散
提出了一种用于简化离散扩散的数学简化方案，同时还提出了一种能够精确和加速采样的简单公式，并通过创建一个统一的模型，简化离散扩散的前向和后向概率计算，取得了在现有数据集上优于其他方法的效果。
- 离散扩散模型的快速采样通过去随机化
通过提出一种新颖的去随机扩散过程，我们加速了离散扩散模型的算法；我们还引入了一种连续时间采样算法，能够比有限步长的离散时间采样算法提供更好的样本质量。大量实验表明，在自然语言生成和机器翻译任务中，我们的方法在离散扩散模型的生成速度和样本质量 - 离散概率流通过最优传输的构建
本文旨在建立离散扩散模型的概率流动基本理论，从而定义符合最优运输原理的离散概率流动，并提出一种超越以往的离散扩散模型的新型采样方法。通过在合成玩具数据集和 CIFAR-10 数据集上的广泛实验证实了所提出的离散概率流动的有效性。
- 关于离散去噪扩散模型的固有隐私属性
基于离散扩散模型的数据生成方法的隐私保护能力在理论上进行了开拓性研究，重点研究了每个数据点的潜在隐私泄露，并通过数据预处理减少离散扩散模型生成的合成数据的隐私风险。同时，实验证实了理论研究结果对合成数据和真实世界数据的适用性。
- Diffusion-NAT：自提示离散扩散用于非自回归文本生成
本文提出 Diffusion-NAT，将离散扩散模型引入 NAR 文本生成，并结合 BART 改进性能，实现了 BART 的解码过程与 DDM 的去噪过程统一，最终结果表明，我们的方法在 7 个数据集上取得了很好的效果，甚至超过了自回归方法 - DiffusionBERT：利用扩散模型提升生成式掩码语言模型的性能
本文介绍了 DiffusionBERT，一种基于离散扩散模型的新型生成遮蔽语言模型，探讨了通过结合扩散模型和预训练去噪语言模型的能力，进一步提高文本生成质量。实验证明，DiffusionBERT 在文本生成方面的表现明显优于现有的扩散模型和