Jun, 2024

全可逆双曲神经网络用于大规模表面和亚表面数据分割

PDF
TL;DR地学和遥感数据的大规模时空 / 频率尺度导致使用卷积神经网络进行（次表面）数据分割时会出现内存问题。这项研究关注基于电报方程的全可逆网络，通过与以压缩形式直接包含卷积核的层相结合，解决了卷积核数量激增的问题。此外，我们展示了如何以非标准的方式利用可逆网络，在高光谱土地利用分类、空中地球物理勘测和地震成像等领域使用大数据量进行处理，而无需分块处理、降维或类似方法。
geoscienceremote-sensingconvolutional neural networksinvertible networkshyperspectral land-use classification
发现论文，激发创造
  • 一种部分可逆的 U-Net 用于内存高效的体积图像分割

    在 3D 卷积神经网络分割方面，一种部分可逆的 U-Net 架构通过减小内存消耗实现了深度增强并提高了分割准确性，在 BraTS 挑战数据集上展示出了很大的内存节省。

    Jun, 2019

  • 倒推学习倒推

    本文提出了一种具有恒定内存的迭代逆模型，利用可逆网络避免存储中间激活数据，可以在 MRI 图像重建任务中训练具有 400 层的模型，并在公共数据集上证明这些更深、更具表现力的网络实现了最先进的图像重建。

    Nov, 2019

  • i-RevNet：深度可逆网络

    通过 i-RevNet 网络的可逆性证明了深度卷积网络并不需要通过逐步丢弃输入信息来学习代表信息以获得泛化能力，并通过线性插值对模型学习到的信息进行了解释。

    Feb, 2018

  • 探索卷积神经网络的可逆性

    论文讨论卷积神经网络近似可逆性及其在稀疏信号恢复方面的数学模型，并给出一种精确的模型基础压缩感知与其恢复算法和随机权重 CNN 的连接。作者通过实验得出多个学习网络与数学分析一致，以简单的理论框架合理地重构实际图片。同时，作者也探讨了我们的模型假设与实际场景分类训练的 CNN 之间的差距。

    May, 2017

  • iUNets：可学习上 / 下采样的全可逆 U-Nets

    本篇论文介绍了一种基于可逆 U-Net 结构的新型网络 iUNet，它采用了新颖的可学习可逆上下采样操作，可以在同样的 GPU 存储限制下，训练更深更大的网络，并用于建立正则化流模型。

    May, 2020

  • 使用卷积神经网络解决大规模空间问题

    本文探讨了如何通过使用转移学习和卷积神经网络等技术来提高大规模空间问题的训练效率，提出小信号窗口训练成果可在大信号上应用的理论，并在移动基础设施方面得到了实证支持。

    Jun, 2023

  • 可逆残差网络

    本研究展示了传统的 ResNet 模型可以被做成可逆的，这意味着同一个模型可以同时用于分类、密度估计和生成。令人惊讶的是，我们的方法只需要在训练时增加一个简单的归一化步骤，而不需要将维度分割或限制网络结构。作为一种生成模型，可逆的 ResNet 可以通过无标签数据的最大似然估计进行训练。为了计算似然，我们引入了一个可计算的对余块 Jacobian 行列式对数的近似值。实验证明，可逆 ResNet 在严格意义下表现出色，达到了同一个架构内同时具有现有最先进图像分类器和流式生成模型的性能。

    Nov, 2018

  • 双曲卷积神经网络

    使用双曲空间构建泛化的超球面卷积神经网络，以捕捉数据中的层次结构和提高性能。

    Aug, 2023

  • 可逆神经网络中爆炸反演的理解和缓解

    本文研究了可逆神经网络的数值稳定性，发现常用结构存在逆爆炸现象及无法逆运算等问题，针对不同问题提出了逆问题的解决方法，证明了构建稳定可逆神经网络是重要的。

    Jun, 2020

  • 通过逆识别标记神经表示

    我们提出了一种逆向识别方法 (INVERT)，通过利用学习表示与人可理解的概念之间的区分能力，实现了将学习表示与其对应解释相连接的可扩展方法。此方法具有较低的计算复杂度并且不依赖于分割掩码的可用性，还提供了一个可解释的度量来评估表示与其相应解释之间的一致性并提供统计显著性的度量值，强调其实用性和可信度。我们展示了 INVERT 在各种场景中的适用性，包括识别受偶然相关性影响的表示以及对模型中决策层次结构的解释。

    Nov, 2023