AAAIMay, 2019

HINT: 层次可逆神经传输用于密度估计和贝叶斯推断

PDF
TL;DR本论文提出了一种基于分形结构的可逆神经网络模型 HINT，可以用于联合概率密度采样和贝叶斯推断，其具有快速的求解速度和稠密的雅可比矩阵表现形式。
invertible neural architecturescoupling block designsaffine triangular transformationhierarchical architecturebayesian inference
发现论文，激发创造
  • FFJORD: 可伸缩的可逆生成模型的自由连续动力学

    本研究利用可逆神经网络将从简单分布映射到复杂分布的一类生成模型进行了优化，实现了无偏密度估计和单次采样，并在高维度密度估计、图像生成和变分推断等领域超越了目前的所有精确似然方法。

    Oct, 2018

  • 基于梯度的高效推理：将贝叶斯网与神经网之间进行转换

    本论文研究了层次贝叶斯网络和具有随机隐藏单元的神经网络，表明通过在潜在变量的中心化和可微非中心化参数化之间切换，这两种类型的模型可以相互转换，并且给出了各种参数化的优缺点及推断方法。在非中心形式中，可以使用简单的蒙特卡洛估计器来学习参数。理论结果得到了实验证实。

    Feb, 2014

  • 基于物理信息可逆神经网络的高效贝叶斯反问题推断

    提出了使用物理知识的可逆神经网络 (PI-INN) 来解决贝叶斯反问题的新方法，其中包括 INN 和 NB-Net 两个子网络来提高估计后验概率分布的可行性，并采用新的独立损失项来保证 INN 输出的统计独立性，通过数值实验验证了其高效性和准确性。

    Apr, 2023

  • 可逆残差网络

    本研究展示了传统的 ResNet 模型可以被做成可逆的，这意味着同一个模型可以同时用于分类、密度估计和生成。令人惊讶的是，我们的方法只需要在训练时增加一个简单的归一化步骤，而不需要将维度分割或限制网络结构。作为一种生成模型，可逆的 ResNet 可以通过无标签数据的最大似然估计进行训练。为了计算似然，我们引入了一个可计算的对余块 Jacobian 行列式对数的近似值。实验证明，可逆 ResNet 在严格意义下表现出色，达到了同一个架构内同时具有现有最先进图像分类器和流式生成模型的性能。

    Nov, 2018

  • 对反问题中可逆架构的基准测试

    研究探讨了基于流的可逆神经网络在逆问题求解方面较为有效，并进一步结合十种可逆体系结构和相关模型解决低维基准问题，发现耦合层和简单自编码器表现最佳。希望该研究能促进其他研究者在相似情境中评估他们的可逆体系结构，并提出其他基准问题，以便该评估最终发展成为官方社区挑战。

    Jan, 2021

  • NICE: 非线性独立分量估计

    本文提出了一种深度学习框架，可用于建模复杂的高维密度，基于将数据转换为独立的潜在变量的因式分解分布，容易训练，适用于多种场景，且有良好的生成模型表现。

    Oct, 2014

  • 带深度和可逆特征的混合模型

    我们提出了一种神经混合模型，由定义在一组由深度可逆变换（即归一化流）计算的特征上的线性模型组成。该模型具有计算特征密度和预测分布的能力，可在单个前馈传递中精确计算。除了实现增强的半监督学习和识别超出分布的输入之外，该模型还为深度概率学习下游应用提供了一个有用的构建块。

    Feb, 2019

  • 密集连接归一化流

    该文研究了通过交叉单元耦合和密集连接等方法增强正常化流模型表达能力并提高密度估计精度的问题。

    Jun, 2021

  • 层次变分混合模型用于学习动力学概率反演

    这篇论文介绍了一种层级建模范式，结合了概率回归模型和贝叶斯非参数方法，采用了一种逼近非线性函数的局部回归技术，提出了两种有效的变分推理技术来学习这些模型，此方法可适应数据并涵盖无限数量的组件，本文对大型逆动力学数据集进行了验证和测试。

    Nov, 2022

  • 线性化神经网络下的快速适应

    本文研究神经网络的归纳偏差，探讨了线性化的神经网络函数作为完整神经网络函数的概括之间的关系，并提出了一种新的方法将这种归纳偏差嵌入到高斯过程中以实现可解释的后验推断，无需采用标准技术（如微调神经网络权重）进行领域自适应。实验证明，该框架对于迁移学习非常有前途和便利。

    Mar, 2021