KDDJul, 2019

IRNet: 一种面向材料发现的通用深度残差回归框架

PDF
TL;DR本文提出了一种基于深度残差学习的机器学习模型 IRNet 用于材料属性预测，表现优于现有的机器学习方法，同时实现更好的训练收敛性能。
materials discoverymachine learningregressionirnetresidual learning
发现论文，激发创造
  • 深度残差网络用于图像识别

    本文提出了一种残差学习框架，以优化超过 VGG 网络 8 倍深度的残差网络在 ImageNet 数据集上的分类任务，以及在 COCO 目标检测数据集上取得了 28% 的相对提升。

    Dec, 2015

  • PirateNets：基于残差自适应网络的物理驱动深度学习

    该研究针对物理信息神经网络（PINNs）在使用大型深度神经网络架构处理偏微分方程（PDE）驱动的正向和反向问题时性能下降的问题进行了研究，发现这种行为的根源是采用了不适合的初始化方案，导致网络对导数的训练能力较差，最终导致 PDE 残差损失的不稳定最小化。为了解决这个问题，引入了一种名为 Physics-informed Residual Adaptive Networks（PirateNets）的新型架构，旨在实现深层 PINN 模型的稳定和高效训练。PirateNets 采用一种新颖的自适应残差连接，允许网络在训练过程中作为浅层网络逐渐加深。研究还表明，所提出的初始化方案可以将给定 PDE 系统的适当归纳偏差编码到网络架构中。通过全面的实证研究，证明了 PirateNets 更易优化，并且可以从较大深度中获得准确性，最终在各种基准测试中取得了最先进的结果。本文附带的代码和数据将在 https://github.com/PredictiveIntelligenceLab/jaxpi 公开提供。

    Feb, 2024

  • HyperINR: 一种快速预测的超网络，通过知识蒸馏实现隐式神经表示

    本文引入 HyperINR，一种新颖的超网络架构，通过利用多分辨率哈希编码单元的集合，直接预测一个紧凑的 INR 的权重，从而提高了 INR 的推理性能和支持交互式虚拟现实。

    Apr, 2023

  • IamNN：用于高效图像分类的迭代自适应移动神经网络

    本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。

    Apr, 2018

  • Resnet in Resnet：广义残差连接结构

    介绍了一个深度双流架构 Resnet in Resnet（RiR），该架构推广了 Residual networks（ResNets）和标准 CNNs，且无计算开销，通过在 CIFAR-10 上实现，RiR 不断提高性能、在 CIFAR-100 上创新了新的最优结果

    Mar, 2016

  • 可逆残差缩放模型

    通过学习特定分布下的高分辨率图像与低分辨率图像之间的双射映射，我们提出了可逆残差缩放模型 (IRRM) 来构建深度网络，通过长跳跃连接的残差降采样模块 (RDM) 和短连接的可逆残差块 (IRB) 来强制模型提取图像的高频信息，从而在图像缩放任务中显著优于其他先进方法，且使用更少的参数和复杂性。

    May, 2024

  • 深度残差神经网络的分层并行训练

    该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

    Dec, 2018

  • 连续深度神经网络

    通过将连续动力学系统嵌入高阶数值积分方案中，我们构造了一种连续的深度神经网络框架 ——ContinuousNet，其具有与时间步长大小无关的层次独立性和增量深度训练方法，实现了在保持准确性的同时加快推断速度。

    Aug, 2020

  • 深度残差网络的收敛分析

    本研究旨在了解深度 ResNets 的收敛性，并给出一般深度神经网络的矩阵 - 向量描述和明确表达式，以研究两个涉及无限非方形矩阵积的级数的收敛性，进而建立 ResNets 逐点收敛的充分条件，并在基准机器学习数据上进行实验证实我们的结论。

    May, 2022

  • 残差连接鼓励迭代推断

    研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

    Oct, 2017