EMNLPAug, 2018

加速异步随机梯度下降算法在神经机器翻译中的应用

PDF
TL;DR为了解决异步随机梯度下降中的样本过期问题并提高性能，我们引入了一种延迟梯度更新的技术，同时采用本地优化器和动量微调使我们的浅层机器翻译系统比优化的基线快 27% ，而 BLEU 得分几乎没有降低。
asynchronous stochastic gradient descentmini-batchlearning ratestale gradient problemmachine translation system
发现论文，激发创造
  • 自动梯度下降与广义牛顿法

    我们提出了广义牛顿法（GeN）—— 一种基于海森矩阵的方法，适用于任何优化器（如 SGD 和 Adam），并将牛顿 - 拉弗森法作为一个子案例。我们的方法自动动态地选择加速收敛的学习率，无需进行繁琐的学习率调度。在实践中，我们的方法易于实施，因为它只需要进行附加的前向传递，几乎不会带来计算开销（以训练时间和内存成本计），如果将开销分摊到许多迭代中。我们展示了在语言和视觉任务上的大量实验证明 GeN 优化器可以与现有技术的性能相匹配，而这些现有技术是通过仔细调整学习率调度器来实现的。代码将在 https://github.com/ShiyunXu/AutoGeN 发布。

    Jul, 2024

  • 解决语言模型计算最优扩展的差异

    Kaplan 等人和 Hoffmann 等人为计算预算的优化模型大小开发了有影响力的扩展定律，但这些定律给出了截然不同的预测结果；通过在两个数据集上重现 Kaplan 定律，并识别出最终层计算成本、预热时间和规模相关的优化器调整等三个因素，我们解释了差异；在纠正这些因素后，我们与 Hoffmann 等人（即 “Chinchilla”）的定律取得了很好的一致性；与 Hoffmann 等人的假设相反，我们发现仔细的学习率衰减对于他们的定律的有效性并不重要；作为次要结果，我们推导出了最优学习率和批次大小的扩展定律，并发现在较低的批次大小下调整 AdamW 的 β2 参数至关重要。

    Jun, 2024

  • 学习率自适应的随机梯度下降优化方法：深度学习偏微分方程数值模拟与收敛分析

    我们提出并研究了一种基于经验估计目标函数值的学习率自适应方法，用于随机梯度下降优化方法，并在多个神经网络学习问题中实施。我们证明了学习率自适应变体的 SGD 优化方法对于一类简单的二次最小化问题收敛于最小化器。

    Jun, 2024

  • 基于计算机深度学习的心血管疾病早期预警模型研究

    基于一维卷积神经网络的心血管疾病风险预警模型，通过填充和标准化 13 个生理指标，将卷积神经网络转化为二维矩阵，并采用一阶卷积操作和最大池化算法进行降维，通过 Adam 算法进行优化。相对于传统方法，该技术的预测精度提高了 11.2%，对数曲线拟合也有显著改善，通过一维卷积神经网络的检验，证实了该新方法的效力和适用性。

    Jun, 2024

  • 为什么要热身学习率？机制及改进

    通过系统性实验证明，深度学习中热身起始学习率对于训练结果的显著好处在于使网络能够容纳更大的目标学习率，并将网络推向更好条件的损失函数区域，从而提高超参数调优的鲁棒性和最终性能，同时揭示了不同热身阶段的运行模式，根据初始化和参数化的不同，在一定情况下可以完全消除热身的需要，并建议 Adam 中方差的初始化方式以获得类似热身的好处。

    Jun, 2024

  • 在没有梯度噪声的权重矩阵谱中制造重尾

    通过分析深度神经网络的重尾谱、梯度噪声和学习率等因素，我们揭示了深度神经网络在有限的训练步骤后可以生成重尾谱的机制，并研究了重尾谱与泛化能力之间的相关性。

    Jun, 2024

  • 优化学习率和批次大小缩放中的涌现现象

    Adam style 优化器中，最佳学习率和批量大小之间存在一种缩放规律，通过理论分析和实验验证了这种规律。

    May, 2024

  • 如何随着模型和数据集的规模调整 AdamW 的权重衰减

    AdamW 算法中的权重可以理解为近期更新的指数移动平均 (EMA)，通过 EMA 时间尺度选择合适的权重衰减，以确保权重衰减与模型和数据集的规模相匹配，并得出 EMA 时间尺度的合理取值范围。

    May, 2024

  • 迈向无参数优化的稳定性

    提出了一种无需手动调节参数的优化器 AdamG，通过使用 AdaGrad-Norm 算法中的黄金步长派生技术，自动适应不同的优化问题并实现了与手动调节学习率的 Adam 相当的优化性能。

    May, 2024

  • 如何对不对称量化范围进行参数化，用于量化感知训练

    本研究通过比较分析三种不对称均匀量化的参数化方法，即比例和偏移、最小值和最大值以及 β 和 γ，来研究其对量化感知训练的影响。我们使用控制实验和实际大型语言模型的数据进行全面分析，并着重探讨其在关键训练超参数、比特宽度和学习率变化时的行为。根据我们的研究结果，我们提出了稳定和加速可学习不对称量化范围的量化感知训练的最佳实践。

    Apr, 2024