ICMLFeb, 2019

带深度和可逆特征的混合模型

PDF
TL;DR我们提出了一种神经混合模型，由定义在一组由深度可逆变换（即归一化流）计算的特征上的线性模型组成。该模型具有计算特征密度和预测分布的能力，可在单个前馈传递中精确计算。除了实现增强的半监督学习和识别超出分布的输入之外，该模型还为深度概率学习下游应用提供了一个有用的构建块。
neural hybrid modellinear modelnormalizing flowsemi-supervised learningprobabilistic deep learning
发现论文，激发创造
  • 使用线性有理样条反演生成建模

    本论文探讨了使用线性有理样条替代耦合层中使用的仿射变换的方法，与现有方法相比，仿真结果表明了这种方法的性能具有竞争力。

    Jan, 2020

  • 图形正态流

    本文提出了一种基于贝叶斯网络和图结构的图归一化流模型，在保留贝叶斯网络的可解释性和图归一化流的表示能力的同时，为将领域知识注入图归一化流提供了一个有前途的方法。

    Jun, 2020

  • 密集连接归一化流

    该文研究了通过交叉单元耦合和密集连接等方法增强正常化流模型表达能力并提高密度估计精度的问题。

    Jun, 2021

  • 可逆残差网络

    本研究展示了传统的 ResNet 模型可以被做成可逆的，这意味着同一个模型可以同时用于分类、密度估计和生成。令人惊讶的是，我们的方法只需要在训练时增加一个简单的归一化步骤，而不需要将维度分割或限制网络结构。作为一种生成模型，可逆的 ResNet 可以通过无标签数据的最大似然估计进行训练。为了计算似然，我们引入了一个可计算的对余块 Jacobian 行列式对数的近似值。实验证明，可逆 ResNet 在严格意义下表现出色，达到了同一个架构内同时具有现有最先进图像分类器和流式生成模型的性能。

    Nov, 2018

  • 自由形式流动：使任何架构成为标准化流量

    我们通过使用梯度的有效估计器来克服了正规化流设计受到解析可逆性需求的约束，并实现了任意保持维度的神经网络作为最大似然训练的生成模型，在分子生成基准测试中取得了出色的结果，同时采用现成的 ResNet 架构在一个反问题基准测试中具有竞争力。

    Oct, 2023

  • 基于正向传播的工业时间序列数据新颖性检测方法

    Flow-based deep generative models can be used for novelty detection in time series data and outperform traditional methods like the Local Outlier Factor.

    Jun, 2019

  • 反问题的组合归一化流

    本文提出了一种基于流模型的方法来估计条件密度并解决逆问题，并通过实验验证其在产生高质量样本和不确定性量化方面的有效性。

    Feb, 2020

  • ButterflyFlow: 使用蝶矩阵构建可逆层

    提出了基于蝴蝶层的可逆线性层族，构建了一种新型正则化流模型 ButterflyFlow， 在天然图像（如 MNIST、CIFAR-10 和 32x32 的 ImageNet）和结构化数据集（如星系图像和 MIMIC-III 病人群）上获得了更强的密度估计结果和更好的对数似然，同时在内存和计算方面比相关基线更高效。

    Sep, 2022

  • 神经样条流

    本文介绍基于单调分段函数有理二次样条的神经模型流，在保持解析可逆性的同时提高了耦合和自回归变换的灵活性，并展示了神经样条流在密度估计、变分推断和图像生成建模中的相对表现优良。

    Jun, 2019

  • 基于流的生成建模的通用可逆变换

    本文提出了一种新的可逆变换类别，并将其应用于基于流的生成模型，提出两种新的耦合层并在数字数据实验中验证，表明这些新的耦合层能够在 Integer Discrete Flows（IDF）中取得比标准耦合层更好的效果，并能导出一些已知的可逆转换。

    Nov, 2020