本文探讨了 normalizing flows 模型在离散分布上的应用,提出了可以推广到离散事件的离散流模型。其中考虑了离散自回归流和离散二部流模型, 并应用于语言模型中。实验证明于离散分布上离散自回归流优于自回归基线模型,在字符级别的语言建模上离散二部流可以与自回归基线模型竞争。
May, 2019
介绍了一种基于区域划分的流模型 ——Real and Discrete (RAD),此模型具有连续和离散值潜在变量的能力, 在数据分布中同时建模连续和离散的结构。
Mar, 2019
提出了一种基于 VAE 的生成模型,该模型联合训练了基于正则化流的潜在空间分布和到观察到的离散空间的随机映射,解决了直接对离散序列应用正则化流所面临的挑战,并具有可比拟的性能和流灵活性。
Jan, 2019
本文介绍一种新的 “直和” 基础度量方法用于概率简单形式下的混合随机变量,并对混合离散变量模型的表示与采样提出两种策略,通过基于混合随机变量的自动编码器的实现和表现,验证该方法的有效性。
Aug, 2021
本文研究和改进针对无损压缩的整数离散流。我们通过探究离散随机变量的可逆流是否比连续随机变量的更为灵活来开始分析,并通过证明发现此理论不适用于整数离散流。此外,我们研究了整数离散流中的梯度偏差效应,并通过实验证明其对模型的性能影响高度依赖于架构选择并不像先前想象的那样突出。最后,我们展示了不同架构修改如何改进该模型类别的性能并使其更加高效:我们发现具有一半数量流层的模型性能不亚于或者比原始整数离散流模型更好。
Jun, 2020
通过离散流模型(DFMs)实现了流模型在多模态连续与离散数据问题上的应用,利用连续时间马尔可夫链实现了离散空间流匹配,进一步改进了基于扩散的方法,成功构建了多模态流建模框架,并应用于蛋白质共设计任务,取得了最先进的共设计性能,同时能灵活生成序列或结构。
Feb, 2024
我们提出了 “变分流模型” 作为 “后验流” 的广义概率流模型的变分推断解释,并提出了一种无需训练的方法来将 “线性” 随机过程的后验流转化为直速常数速度(SC)流,便于沿着原始后验流进行快速采样。我们的方法的灵活性允许我们在不同的 “线性” 随机过程中进行两个后验流的相互转换,同时可以轻松地将高阶数值解算器集成到转换后的 SC 流中,进一步提高采样精度和效率。严格的理论分析和大量的实验结果证实了我们的框架的优势。
本研究提出了离散去噪流模型(Discrete Denoising Flows, DDFs),用于建模离散的随机变量,并证明在对数似然度量中,在建模玩具示例,二进制 MNIST 和 Cityscapes 分割地图方面,DDFs 优于 Discrete Flows。
Jul, 2021
引入了一种基于 SurVAE 流的方法,结合神经运输方法和 Metropolis-Hastings 规则,在混合 Monte Carlo 中提供对离散域的采样能力。
Feb, 2021
本论文提出了一种新的变分推断方法,通过应用一系列可逆转变,构造了一种更为复杂的、灵活的、可拓展的近似后验分布,与简单的后验分布相比,提升了推断性能和适用性。
May, 2015