Mar, 2023

Transformer 是否能预测不同 ImageNet 模型的参数？

PDF
TL;DR在机器学习领域，使用大数据集对神经网络进行预训练已成为众多社群才能实现的基石之一，本文旨在实现预训练的民主化，并训练并发布出一种能够预测其他神经网络高质量 ImageNet 参数的单一神经网络，通过使用预测参数作为初始化，我们能够提高在 PyTorch 可用的不同 ImageNet 模型的训练效果.
pretrainingneural networkimagenetpytorchtraining
发现论文，激发创造
  • 未知深度结构的参数预测

    本文提出一种基于图神经网络的 Hypernetwork 模型，可以利用已经训练好的神经网络的知识，直接预测神经网络参数，实验结果表明，该模型可以在 CPU 上在秒级时间内预测具有很高的精度和泛化能力，通过该模型的应用，可能开启训练神经网络的新篇章。

    Oct, 2021

  • 高效条件预训练用于迁移学习

    提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

    Nov, 2020

  • 探索弱监督预训练的极限

    本文探讨了利用大规模社交媒体图像预测 hashtag 的卷积神经网络进行的迁移学习的行为，并展示了相应的实验结果，证明进行大规模预训练能够显著提高图片分类和物体检测任务的表现。

    May, 2018

  • 高效提升预训练模型的鲁棒性

    使用知识转移方法，将较小模型的鲁棒性迁移到大规模网络中，提高大规模模型的性能和鲁棒性。

    Sep, 2023

  • 在了解神经网络结构之前进行预训练

    通过训练较小的超级网络来预测大型神经网络的参数，以达到训练大型神经网络的目的，并提出了利用简单的后处理技术来改善对 ResNet-50 和 ConvNeXt 的调整。

    Jul, 2022

  • Diffscaler：增强扩散变压器的生成能力

    通过使用 DiffScaler，这篇论文提出了一种有效的扩展策略，使得单一预训练的扩散变压器模型能够快速适应不同的数据集，从而完成多样化的生成任务。

    Apr, 2024

  • 大规模预训练的极限探索

    通过调整数据规模、模型大小和训练时间，提高预训练的准确性可以有利于大多数下游任务的表现，但是当上游准确度提高时，下游任务的表现会饱和，并且与上游和下游任务的性能呈非线性关系，因此需要对下游性能建立一个模型以反映这种饱和现象。

    Oct, 2021

  • 学习如何扩展预训练模型以进行高效 Transformer 训练

    通过对预训练的 transformer 的参数学习，使用线性变换因子初始化更大的模型，实现更快的 transformer 训练，并且减少了高达 50% 的计算成本。

    Mar, 2023

  • ParameterNet：基于参数的移动网络大规模视觉预训练

    本文提出 ParameterNet 方法，使用动态卷积进行低 FLOPs 网络的大规模视觉预训练，实验结果在 ImageNet-22K 数据集上表明 ParameterNet 能够让低 FLOPs 模型从大规模视觉预训练中获益，在 0.6G FLOPs 下可以达到比广泛使用的 Swin Transformer 更高的精度。

    Jun, 2023

  • 预训练图像处理 Transformer

    本论文主要研究了低层级计算机视觉任务（如去噪、超分辨率和去雨等），并开发了一种新的预训练模型 —— 图像处理变压器（IPT），通过 ImageNet 基准测试产生大量的损坏图像对，训练 IPT 模型并成功地在不同的图像处理任务上产生了良好的结果。

    Dec, 2020