可逆神经网络中爆炸反演的理解和缓解

Jun, 2020

可逆神经网络中爆炸反演的理解和缓解

Understanding and Mitigating Exploding Inverses in Invertible Neural Networks

Jens Behrmann, Paul Vicol, Kuan-Chieh Wang, Roger Grosse, Jörn-Henrik Jacobsen

TL;DR本文研究了可逆神经网络的数值稳定性，发现常用结构存在逆爆炸现象及无法逆运算等问题，针对不同问题提出了逆问题的解决方法，证明了构建稳定可逆神经网络是重要的。

Abstract

invertible neural networks (INNs) have been used to design generative models, implement memory-saving gradient computation, and solve inverse problems. In this work, we show that commonly-used INN architectures suffer from exploding inverses and are thus prone to becoming numerically n

invertible neural networks numerical stability memory-saving backprop normalizing flow models local and global invertibility

发现论文，激发创造

利用可逆神经网络分析逆问题

本文探讨了逆问题的数学定义，提出了一种称为 Invertible Neural Networks (INNs) 的神经网络模型，利用预定义的正向过程和额外的 latent output variables 来解决参数估计问题，并在人工数据和实际问题中发现 INN 是解决参数分布分析、寻找多模态和相关性较强的关键性分析工具。

Aug, 2018

关于逆可逆神经网络逼近双 Lipschitz 映射的研究

本文通过分析基于耦合的可逆神经网络（INN）对紧致域上的双 Lipschitz 连续映射的容量，得出同时很好地逼近正向和逆向映射的结论。此外，通过将模型简化、主成分分析和 INN 相结合，提出了一种在无限维空间上同时逼近正向和逆向映射的逼近方法，并分析了该方法的整体逼近误差。初步的数值结果显示该方法在逼近参数化二阶椭圆问题的解算符方面的可行性。

Aug, 2023

基于物理信息可逆神经网络的高效贝叶斯反问题推断

提出了使用物理知识的可逆神经网络 (PI-INN) 来解决贝叶斯反问题的新方法，其中包括 INN 和 NB-Net 两个子网络来提高估计后验概率分布的可行性，并采用新的独立损失项来保证 INN 输出的统计独立性，通过数值实验验证了其高效性和准确性。

Apr, 2023

一石二鸟：探究可逆神经网络在形态学反问题中的应用

本文介绍了在自然语言处理中，使用可逆神经网络（INNs）来同时优化分析和生成问题，克服问题间的模型差异，从而提高效率，在形态学问题中进行的试验表明，INNs 在语义和形态学层面上都具有出色的表现，并能预测输入参数。

Dec, 2019

基于条件逆神经网络的多样化图像到图像转换

介绍了一种新的结构，称为条件可逆神经网络（cINN），并将其用于解决自然图像的多样化图像到图像的转化任务。cINN 结合了纯生成 INN 模型和一个无限制的前馈网络，有效地将调节图像预处理为最大信息特征。通过最大似然优化，稳定地联合优化 cINN 的所有参数。利用双向 cINN 结构，进一步探索和操作潜在空间的新兴属性，例如以直观的方式更改图像风格。

May, 2021

可生成可逆的量子神经网络

我们提出了一种量子门算法，称为量子可逆神经网络（QINN），并将其应用于 LHC 数据中的粒子对撞机精密测量的标准参考过程 - 带有衰变到轻子的 Z - 玻色子的喷注相关产生。我们在不同损失函数和训练场景下比较了 QINN 的表现，并发现在此任务中，混合量子可逆神经网络与学习和生成复杂数据方面性能相当于一个显著更大的纯经典可逆神经网络。

Feb, 2023

对反问题中可逆架构的基准测试

研究探讨了基于流的可逆神经网络在逆问题求解方面较为有效，并进一步结合十种可逆体系结构和相关模型解决低维基准问题，发现耦合层和简单自编码器表现最佳。希望该研究能促进其他研究者在相似情境中评估他们的可逆体系结构，并提出其他基准问题，以便该评估最终发展成为官方社区挑战。

Jan, 2021

理解 CNN：利用 INN 解释深度表示及不变性

为了了解神经网络不透明的黑盒表示法，本研究提出了一种基于 INNs 的方法来恢复任务特定和已学习不变量，将其变成易于理解的语义概念，并在不影响性能的情况下进行后期解释。

Aug, 2020

i-RevNet：深度可逆网络

通过 i-RevNet 网络的可逆性证明了深度卷积网络并不需要通过逐步丢弃输入信息来学习代表信息以获得泛化能力，并通过线性插值对模型学习到的信息进行了解释。

Feb, 2018

Momentum-Net: 用于反问题的快速收敛迭代神经网络

本文提出了第一种快速收敛的迭代神经网络 (Momentum-Net)，结合了回归 NN 和迭代模型的映像重建算法 (MBIR) ，实现了在成像、图像处理和计算机视觉中进行反问题求解，通过实验结果表明，Momentum-Net 显著改善了 MBIR 的速度和精度，并在每个应用中相对于最新的 MBIR 方法显著提高了重构质量。

Jul, 2019