学习为未见图像数据生成 ConvNets 的参数

Oct, 2023

学习为未见图像数据生成 ConvNets 的参数

Learning to Generate Parameters of ConvNets for Unseen Image Data

Shiye Wang, Kaituo Feng, Changsheng Li, Ye Yuan, Guoren Wang

TL;DR传统的卷积神经网络依赖于大量的图像数据，并使用迭代优化算法来学习网络参数，这使得训练非常耗时和资源密集。本文提出了一种新的训练范式，将卷积神经网络的参数学习形式化为一种预测任务，通过学习数据集与网络参数之间的超映射关系，来直接预测在训练阶段从未见过的图像数据的网络参数。这种基于超网络的模型称为 PudNet，通过共享权重的自适应超循环单元捕捉不同网络层之间的参数依赖关系。实验证明，我们提出的方法在两种设置下（数据集内预测和数据集间预测）对于未见过的图像数据集具有良好的效果。PudNet 还可以很好地应用于大规模数据集，例如 ImageNet-1K。训练 ResNet-18 使用 GC 从头开始，在 ImageNet-1K 上花费 8967 个 GPU 秒，并获得 44.65% 的前 5 准确率。然而，我们的 PudNet 仅花费 3.89 个 GPU 秒来预测 ResNet-18 的网络参数，达到相当的性能（44.92%），比传统训练范式快了超过 2300 倍。

Abstract

Typical convolutional neural networks (ConvNets) depend heavily on large amounts of image data and resort to an iterative optimization algorithm (e.g., SGD or Adam) to learn network parameters, which makes training very time- and resource-intensive. In this paper, we propose a new trai

convolutional neural networks parameter learning hypernetwork unseen image datasets prediction

发现论文，激发创造

未知深度结构的参数预测

本文提出一种基于图神经网络的 Hypernetwork 模型，可以利用已经训练好的神经网络的知识，直接预测神经网络参数，实验结果表明，该模型可以在 CPU 上在秒级时间内预测具有很高的精度和泛化能力，通过该模型的应用，可能开启训练神经网络的新篇章。

Oct, 2021

在了解神经网络结构之前进行预训练

通过训练较小的超级网络来预测大型神经网络的参数，以达到训练大型神经网络的目的，并提出了利用简单的后处理技术来改善对 ResNet-50 和 ConvNeXt 的调整。

Jul, 2022

ParameterNet：基于参数的移动网络大规模视觉预训练

本文提出 ParameterNet 方法，使用动态卷积进行低 FLOPs 网络的大规模视觉预训练，实验结果在 ImageNet-22K 数据集上表明 ParameterNet 能够让低 FLOPs 模型从大规模视觉预训练中获益，在 0.6G FLOPs 下可以达到比广泛使用的 Swin Transformer 更高的精度。

Jun, 2023

学习学习参数化分类网络以扩展输入图像

通过利用元学习器生成不同输入尺度的主要网络的卷积权重并针对每个尺度维护私有的批量归一化层，同时利用知识蒸馏技术优化不同输入分辨率下的网络预测，我们学习的元网络可以动态地调节主要网络以适用于任意尺寸的输入图像，表现出相较于单一训练模型更好的准确性和执行效率。经过在 ImageNet 数据集上广泛的实验验证，我们的方法在自适应推断过程中实现了更好的准确性与效率权衡。

Jul, 2020

预测激活参数进行少样本图像识别

本文提出了一种新方法，通过直接从激活中预测参数，将预训练神经网络适应新类别，从而实现零训练和单次前向传递的快速推理，该方法在 ImageNet 数据集上实现了新类别的最先进分类准确性，同时保持了大规模类别的可比性，还在 MiniImageNet 数据集上进行了测试并大幅优于以前的最先进方法。

Jun, 2017

深度卷积神经网络的增量式训练

提出了一种增量训练方法，将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。此方法通过引入前瞻初始化，使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在 CIFAR-10 上报告了 ResNet 和 VGGNet 的训练结果。

Mar, 2018

Transformer 是否能预测不同 ImageNet 模型的参数？

在机器学习领域，使用大数据集对神经网络进行预训练已成为众多社群才能实现的基石之一，本文旨在实现预训练的民主化，并训练并发布出一种能够预测其他神经网络高质量 ImageNet 参数的单一神经网络，通过使用预测参数作为初始化，我们能够提高在 PyTorch 可用的不同 ImageNet 模型的训练效果.

Mar, 2023

无需显式正则化，使用极少数据从头开始学习的大型神经网络

深度神经网络模型通常需要大量训练数据，但是最近的研究结果表明高度参数化的神经网络可以在没有预训练或显式正则化的情况下实现泛化，这对于传统的机器学习是完全违背常识的，该研究进一步证实了这一观点，对于卷积神经网络的应用具有启示意义。

May, 2022

滤波器共享：用于体卷积参数的高效学习

本文介绍了一种在训练期间利用卷积神经网络（CNNs）中学习到的滤波器的显着冗余的方法，通过找到一组小滤波器和混合系数来推导每个卷积层中的每个滤波器，从而减少训练参数。作者使用 CT 图像进行 3D 肺结节分割，证明了该方法只需要少量训练例子即可获得良好的结果。

Dec, 2016

PhyGeoNet: 基于物理学信息的几何自适应卷积神经网络，用于解决不规则域上参数化稳态 PDE

本文提出了一种新的物理约束 CNN 学习架构，用于处理非均匀的边界条件和不规则的几何形状，通过椭圆坐标映射和卷积神经网络，该方法在解决参数化 PDE 时比 FC-NN PINN 具有更高的准确性和效率。

Apr, 2020