IJCAIJan, 2016

DrMAD：使用反向模式自动微分优化深度神经网络超参数的蒸馏

PDF
TL;DRDrMAD 是一种通过优化同时保证模型效果的简单高效的方法，可以在超参数优化中通过近似反转训练轨迹最大化地利用前向传递的知识，是第一个实现自动调整深度神经网络数千个超参数的研究尝试。
发现论文，激发创造
  • 随机自动微分

    提出了随机自动微分 (RAD) 的一般框架和方法，可实现减少内存的无偏梯度估计，特别适用于小批量的反向传播神经网络，同时适用于科学计算中的优化控制参数

    Jul, 2020

  • 自动微分的简单本质

    本文提出了一种由简单、自然的规范计算出的通用 AD 算法，通过使用 AD - 不可知编译器插件，这些算法可以直接从现有的编程语言中使用，无需新的数据类型或编程风格，并且不涉及任何图表、磁带、变量、偏导数或突变，从而更易于理解、改进和并行执行。

    Apr, 2018

  • 正向和反向基于梯度的超参数优化

    研究了计算任何迭代学习算法（如随机梯度下降）超参数的验证误差梯度的两种方法（反向模式和正向模式），这些程序镜像了递归神经网络计算梯度的两种方法，并具有不同的运行时间和空间要求。

    Mar, 2017

  • 用于优化算法的随机前向模式自动微分

    神经网络的反向传播过程利用了自动微分的基本要素，通过前向模式的自动微分或 Jacobian 向量乘积 (JVP) 来计算损失函数的方向导数，并使用随机采样的不同概率分布计算这些方向导数，本文对这些方法进行了严格的分析并给出了收敛速率，同时还进行了在科学机器学习中部署的计算实验，特别是应用于物理信息神经网络和深度算子网络。

    Oct, 2023

  • 解密可导编程：Shift/Reset 倒数第二个反向传播器

    本文研究了自动微分技术和其与限定续延之间的紧密关系，提出了无需任何辅助数据结构的运算符重载形式的反向模式自动微分实现，并将其与多阶段编程相结合，实现了 TensorFlow 等框架的计算性能优势和 PyTorch 等库的表达能力。

    Mar, 2018

  • 深度学习技巧

    本文介绍了深度学习社群已经开发的一系列方法，包括梯度优化、算法微分、机器学习和随机牛顿法，并详细讨论了其中两种方法的数学细节。

    Nov, 2016

  • DeepMAD：深度卷积神经网络的数学架构设计

    该论文介绍了一种基于数学架构设计的深度卷积神经网络（DeepMAD）框架，可优化网络结构参数来设计仅依赖于传统卷积层的高性能 CNN 模型，并在 ImageNet 等多个大规模计算机视觉基准数据集上验证其优越性。

    Mar, 2023

  • 无损适应性：一种带有动量化、自适应、双平均随机梯度优化方法

    引入了 MADGRAD 优化方法，其表现优异，不仅适用于视觉领域中的分类和图像转换任务，还适用于自然语言处理中的循环和双向掩蔽模型。在每个任务中，MADGRAD 的测试结果均优于 SGD 和 ADAM，并且在自适应方法通常表现差的问题上也表现出色。

    Jan, 2021

  • MADA: 元适应优化器通过超梯度下降

    本研究提出了 Meta-Adaptive Optimizers（MADA），一个统一的优化器框架，它能够泛化多种已知的优化器，并在训练过程中动态学习最合适的优化器。数值结果表明，MADA 对亚优化的超参数具有鲁棒性，并且即使在调优超参数的情况下，它通常优于 Adam、Lion 和 Adan。同时，我们还提出了 AVGrad，它是 AMSGrad 的一种变体，在 MADA 中表现更好。最后，我们提供了收敛性分析，显示优化器的插值（特别是 AVGrad 和 Adam）可以改善它们的误差界限（在常数上），暗示了元优化器的优势。

    Jan, 2024

  • 机器学习算法的自动微分

    本文介绍了自动微分技术及其在机器学习中的应用，包括其两种主要模式和能够提高计算效率的优势。该技术具有普遍适用性，不需要先验知识，值得广泛的应用。

    Apr, 2014