加速深度学习训练和提高鲁棒性的乘法更新规则

Jul, 2023

加速深度学习训练和提高鲁棒性的乘法更新规则

Multiplicative update rules for accelerating deep learning training and increasing robustness

Manos Kirtas, Nikolaos Passalis, Anastasios Tefas

TL;DR本文研究了深度学习训练加速和鲁棒性问题，提出了一种优化框架，其中使用了一种新的乘法更新规则，并将其与传统的加性更新项相结合，实验表明该框架可以应用于广泛的优化方法和深度神经网络结构，并加速训练同时提高了模型的鲁棒性。

Abstract

Even nowadays, where deep learning (DL) has achieved state-of-the-art performance in a wide range of research domains, accelerating training and building robust DL models remains a challenging task. To this end, generations of researchers have pursued to develop robust methods for trai

deep learning training acceleration robustness optimization methods multiplicative update rule

发现论文，激发创造

深度强化学习中的乘法器设计优化

基于强化学习的乘法器设计优化框架 RL-MUL，通过使用矩阵和张量表示将卷积神经网络无缝地融入乘法器的压缩器树，实现了乘法器结构的优化，以适应面积和延迟之间的权衡，并扩展到优化融合乘加器设计。实验证明，RL-MUL 产生的乘法器在面积和延迟方面优于基准设计，并通过比较使用 RL-MUL 和基准方法得到的乘法器的处理单元阵列的面积和延迟进一步验证了 RL-MUL 的性能提升。

Mar, 2024

Adafactor：自适应学习率与亚线性内存成本

该论文提出了一种基于行和列之和的移动平均数的方法，用于估计神经网络权重矩阵的参数，并解决了自适应方法在更新时产生的过大更新的问题。该方法能够在很少的辅助存储空间中达到与 Adam 默认规则相当的结果。

Apr, 2018

深度学习训练过程增强

本文介绍了几种新颖的深度学习训练技术，如广义模型无关课程学习方法和级联加和增强方法，它们不仅能够提高训练效率并改善深度网络训练过程中的优化平滑度、鲁棒性，而且还能够为计算机视觉任务提供更好的预测性能和模型稳健性。

Nov, 2022

用乘法重新加权进行神经网络鲁棒性优化

提出一种使用 MW 重新加权示例的神经网络优化方法，该方法在标签存在噪声的情况下稳健且可提高准确性，同时不会影响其对抗鲁棒性。

Feb, 2021

深度强化学习中目标网络的 t-Soft 更新

本文提出了一种新的强化学习（DRL）目标网络的鲁棒更新规则，以替代传统的指数移动平均更新规则，并通过类比于指数移动平均和正态分布之间的关系，基于学生 t 分布衍生了一种 t-soft 更新方法。通过 PyBullet 机器人模拟 DRL 的训练过程，我们发现，使用 t-soft 更新的在线演员 - 评论家算法在得到的回报和 / 或其方差方面优于传统方法。

Aug, 2020

指数梯度遇见梯度下降

该研究提出了一种称为 hypentropy 的新的正则化方法，利用这种方法可以统一加法和乘法更新算法。这篇论文还利用了 hypentropy 的谱对应关系（spectral hypentropy method）来导出一族基于矩阵的更新算法，并分析了这些更新算法的应用和性能。

Feb, 2019

Polyak 动量方法的可证加速模块化分析：训练一种宽 ReLU 网络和一种深度线性网络

本文研究了动量下降法在神经网络训练中的应用，揭示了其加速神经网络训练的原因及机理。通过对多个模型的分析，得出了使用动量下降法相比普通梯度下降法，能够更快地达到更优的训练效果的结论。

Oct, 2020

神经网络超参数的纪律性方法：第 1 部分 —— 学习速率、批量大小、动量和权重衰减

本文介绍了几种有效的设置超参数的方法，以显著减少训练时间并提高性能。具体来说，报告展示了如何检查训练验证 / 测试损失函数以获取欠拟合和过拟合的微妙线索，并提供了朝向最佳平衡点的指南。同时还讨论了如何增加 / 减少学习率 / 动量以加速训练，并解释了如何在每个数据集和架构的所有正则化之间保持平衡的重要性。本文的实验表明，使用权重衰减作为示例正则化器，其优化值与学习率和动量密切相关。

Mar, 2018

无需重新搜索的研究：最大更新参数化在各个尺度上实现准确的损失预测

本研究提出了一种新的解决大规模语言模型研究验证成本高的问题的范式，通过发现 Maximal Update parametrization（muP）可以使超参数的缩放定律精确拟合，并允许在训练开始之前使用损失预测直接比较不同模型。

Apr, 2023

深度神经网络的超低精度无乘训练

本文提出了一种自适应分层比例缩放的位编码量化（ALS-POTQ）方法和无乘积 MAC 的方法（MF-MAC），可以消除线性层中所有 FP32 乘法和重量偏差校正和参数化比率裁剪技术来提高稳定性和提高准确性，从而获得比现有方法更高的能源效率和准确性。

Feb, 2023