May, 2019

离散流：可逆离散数据生成模型

PDF
TL;DR本文探讨了 normalizing flows 模型在离散分布上的应用，提出了可以推广到离散事件的离散流模型。其中考虑了离散自回归流和离散二部流模型， 并应用于语言模型中。实验证明于离散分布上离散自回归流优于自回归基线模型，在字符级别的语言建模上离散二部流可以与自回归基线模型竞争。
normalizing flowsdiscrete distributionsdiscrete autoregressive flowsdiscrete bipartite flowslanguage modeling
发现论文，激发创造
  • 离散序列的潜在正则化流

    提出了一种基于 VAE 的生成模型，该模型联合训练了基于正则化流的潜在空间分布和到观察到的离散空间的随机映射，解决了直接对离散序列应用正则化流所面临的挑战，并具有可比拟的性能和流灵活性。

    Jan, 2019

  • 离散去噪流

    本研究提出了离散去噪流模型（Discrete Denoising Flows, DDFs），用于建模离散的随机变量，并证明在对数似然度量中，在建模玩具示例，二进制 MNIST 和 Cityscapes 分割地图方面，DDFs 优于 Discrete Flows。

    Jul, 2021

  • 基于正向传播的工业时间序列数据新颖性检测方法

    Flow-based deep generative models can be used for novelty detection in time series data and outperform traditional methods like the Local Outlier Factor.

    Jun, 2019

  • 离散数据上生成建模的费舍尔流匹配

    Fisher-Flow 是一种用于离散数据生成建模的新型流匹配模型，采用几何学观点，将离散数据视为在统计流形上的点，通过转移沿 $d$- 超球面上的（闭合形式）测地线上的质量来定义流，可以优化训练动力学，提高性能，并在合成和实际基因序列设计等多个领域中优于传统扩散和匹配模型。

    May, 2024

  • 等变有限规范化流

    通过使用离散层构建等变归一化流，我们引入了三种新的等变流：$G$-Residual Flows，$G$-Coupling Flows 和 $G$-Inverse Autoregressive Flows，除了理论研究外，还在像 CIFAR-10 这样的图像数据集上进行了实证实验来证明其效果。

    Oct, 2021

  • IDF++：整数离散流的分析与改进以实现无损压缩

    本文研究和改进针对无损压缩的整数离散流。我们通过探究离散随机变量的可逆流是否比连续随机变量的更为灵活来开始分析，并通过证明发现此理论不适用于整数离散流。此外，我们研究了整数离散流中的梯度偏差效应，并通过实验证明其对模型的性能影响高度依赖于架构选择并不像先前想象的那样突出。最后，我们展示了不同架构修改如何改进该模型类别的性能并使其更加高效：我们发现具有一半数量流层的模型性能不亚于或者比原始整数离散流模型更好。

    Jun, 2020

  • 基于流的生成建模的通用可逆变换

    本文提出了一种新的可逆变换类别，并将其应用于基于流的生成模型，提出两种新的耦合层并在数字数据实验中验证，表明这些新的耦合层能够在 Integer Discrete Flows（IDF）中取得比标准耦合层更好的效果，并能导出一些已知的可逆转换。

    Nov, 2020

  • 因果自回归流

    本文介绍了自回归归一化流和可辨识因果模型之间的内在对应关系，证明归一化流模型适用于执行多种因果推理任务，从因果发现到进行干预和反事实预测。作者通过一系列实验验证了所提出的方法优于当前的因果发现方法，并可以精确地进行干预和反事实预测。

    Nov, 2020

  • 混合变分流用于离散变量

    开发了一种不需要连续嵌入的离散分布的变分流，称为 MAD Mix，通过测量保持和离散可逆映射来生成离散目标的可靠逼近，并且比连续嵌入的流训练速度显著更快。

    Aug, 2023

  • 从有条件的归一化流中提取知识

    本研究通过提出一种简单的蒸馏方法，证明了在图像超分辨率和语音合成领域，可以将基于流的模型提炼为更高效的替代模型。

    Jun, 2021