Sep, 2023

残差网络中的深度超参数转移：动态和尺度限制

PDF
TL;DR使用深度学习调参中的参数化方法，研究残差网络的超参数如何在不同宽度和深度的网络中传递，并证明实验和理论结果的一致性。
hyperparameter tuningdeep learningparameterizationresnetsneural network learning dynamics
发现论文，激发创造
  • ResNets 中的残留缩放优化信号传播

    通过有限尺寸理论，研究残差网络的信号传播及其依赖残差分支的伸缩，发现最优伸缩参数范围在最大灵敏度范围内，并给出一个理论框架指导 ResNets 的最优伸缩。

    May, 2023

  • 大规模 $μ$ 转让的探索

    大型神经网络模型的初始化和学习速率通常基于启发式方法，本研究通过对普遍存在的 Transformer 架构进行实证研究，探究 µP（µ-Parameterization）是否在实践中能够提供最佳的学习速率，并发现在大多数重要情况下 µ-Transfer 均可正常工作，但也存在一些令人惊讶的情况。

    Apr, 2024

  • 多头 Transformer 动态的无限极限

    我们分析了特征学习阶段中 Transformer 模型的训练动力学的各种尺度极限，确定了能够在训练过程中实现无限宽度和深度极限、允许注意层更新的一组参数化；然后利用动力平均场理论（DMFT）中的工具，分析了各种无限极限（无限关键词 / 查询维度、无限头、无限深度），这些极限具有不同的统计描述，取决于所采取的无限极限和如何缩放注意层；我们提供了收敛到这些极限的数值证据，并讨论了参数化如何在质量上影响了已学习到的特征。

    May, 2024

  • 深度 ResNet 的过度参数化：零损失和平均场分析

    研究无限深度和无限宽度下 Residual 神经网络中梯度下降和凸优化的等效性，得出当神经网络足够大时，ResNet 的训练可以得到几乎没有误差的近似解决方案。

    May, 2021

  • Tensor Programs V: 通过零样本超参数迁移调整大型神经网络

    研究了利用最大更新参数化（muP）在模型大小变化时保持多种最优超参数稳定的 HP 调整方法 muTransfer，在 Transformer 和 ResNet 上进行了验证，并且可以实现零调整迁移，这可以将来自小模型的超参数零次传输到完整模型中，成本非常低，具有重要的经济和实际意义。

    Mar, 2022

  • 为何学习率能够传递？调和深度学习的优化与扩展限制

    最近的研究表明，神经网络的宽度和深度对于所谓的丰富特征学习极限（μP 及其深层延伸）的缩放存在转移学习现象，从而降低了超参数调整的成本。本研究通过实证找到了学习率转移的实验证据，并得出结论，在 μP 及其深层延伸下，训练损失 Hessian（即锋度）的最大特征值与网络的宽度和深度在持续训练时间内基本上是独立的。

    Feb, 2024

  • 拓宽广度而非纵深

    本文提出了一种宽架构、混合专家 (MoE) 替代前馈神经网络 (FFN) 的参数高效框架，通过参数共享以压缩深度，并使用独立的 layernorms 来转换各种语义表示，实验结果在多个计算机视觉和自然语言处理基准测试中表现优异，最佳模型能以 0.72 倍的可训练参数超越 Vision Transformer 1.5％、超越 ALBERT 1.8％平均表现和使用分解嵌入参数化的 BERT 0.8％。

    Jul, 2021

  • 深度残差网络及其扩展的平均场分析：通过深度超参数化实现可证优化

    本文通过对深度残差网络进行连续极限的解释，提出了一种新的深度残差网络连续极限，推导出了多层神经网络在平均场规则下的首个全局收敛结果，并提出了几种基于新连续模型的训练方案，其中之一的训练程序在基准数据集上表现出很强的实证性能。

    Mar, 2020

  • 深度残差网络的缩放性质

    通过数值实验，我们研究了 Residual 网络的权重性质和与深度有关的规模，在某些网络结构下得到了另一种常微分方程的极限，这表明了深度 ResNets 的极限模型不完全适用于神经正则微分方程。

    May, 2021

  • 多域深度神经网络的高效参数化

    本文提出用一些适量的参数区分不同的子任务，从而在视觉领域的多个任务中进行迁移学习，此类参数化极易压缩且具有较高的性能。

    Mar, 2018