本文探讨了 normalizing flows 模型在离散分布上的应用,提出了可以推广到离散事件的离散流模型。其中考虑了离散自回归流和离散二部流模型, 并应用于语言模型中。实验证明于离散分布上离散自回归流优于自回归基线模型,在字符级别的语言建模上离散二部流可以与自回归基线模型竞争。
May, 2019
本文研究和改进针对无损压缩的整数离散流。我们通过探究离散随机变量的可逆流是否比连续随机变量的更为灵活来开始分析,并通过证明发现此理论不适用于整数离散流。此外,我们研究了整数离散流中的梯度偏差效应,并通过实验证明其对模型的性能影响高度依赖于架构选择并不像先前想象的那样突出。最后,我们展示了不同架构修改如何改进该模型类别的性能并使其更加高效:我们发现具有一半数量流层的模型性能不亚于或者比原始整数离散流模型更好。
Jun, 2020
本文提出了一种基于流的生成模型称为 “整数离散流”,该模型能够学习在高维数据上的丰富变换,并且能够采用可逆神经网络实现无损压缩,在 CIFAR10、ImageNet32 和 ImageNet64 上实现了最先进的无损压缩率。
本研究中,我们提出了一种名为 GraphDF 的离散潜变量模型,使用归一化流方法解决了利用深度模型生成分子图时因离散图结构建模的不准确性而导致的连续潜变量的问题。我们使用可逆的模数转换将离散潜变量映射为图节点和边,实验证明该方法在随机生成、属性优化和约束优化任务中优于先前方法。
Feb, 2021
本文介绍了一种新型动态线性流方法(DLF),该方法结合了流式建模的高效性与自回归建模的高密度性能,可用于生成复杂分布,并在 ImageNet 数据集上取得了最新的最佳性能结果。
本文提出了离散去噪扩散概率模型(D3PM),用于离散数据的扩散式生成模型,包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要,且提出的新损失函数在字符级别文本生成上取得了很好的效果。
Jul, 2021
通过离散流模型(DFMs)实现了流模型在多模态连续与离散数据问题上的应用,利用连续时间马尔可夫链实现了离散空间流匹配,进一步改进了基于扩散的方法,成功构建了多模态流建模框架,并应用于蛋白质共设计任务,取得了最先进的共设计性能,同时能灵活生成序列或结构。
Feb, 2024
建议了一个统一理论框架,将基于得分的扩散模型和生成对抗网络合并起来,提出了一个名为 “鉴别器去噪扩散流” 的新 SDE,通过调整不同得分项之间的相对权重,可以在 SDMs 和 GANs 之间实现平滑转换,同时保持边际分布不变,提供了新的算法,并具有在高样本质量和快速采样速度之间实现灵活权衡的潜力。
Jul, 2023
通过熵正则化的 f - 散度梯度流技术,可以提高生成数据的质量,避免了浪费的样本拒绝,可以应用于各种生成系统,并取得了显著的效果优于 DOT 和 DDLS 方法。
Dec, 2020
通过对 DDPM 模型进行简单修改,可以在保持高质量样本的同时达到具有竞争力的对数似然值,并学习反向扩散过程的方差,从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能,并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。