error feedback | BriefGPT - AI 论文速递

关键词error feedback

搜索结果 - 10

分布式学习的通信高效差错反馈
分散学习中受通信限制的算法依赖于局部更新以及压缩信号的交换，本文提出了一种新的分散、通信高效的学习方法，结合了差分量化和误差反馈，在满足低维子空间限制的前提下实现个体风险函数的最小化，实验证明在小步长且有限位数的情况下，可以实现与无压缩情况
PDF10 days ago
错误反馈再加载：从平方到算术平均数的光滑度常数
在本研究中，我们研究了一种称为 EF21 的现代化误差反馈机制，该机制在最弱的假设下具有目前已知的最佳理论保证，并且在实践中效果良好，该机制改进了通信复杂性，特别适用于异质数据情况，并进行了验证实验。
PDF5 months ago
模型并行训练的激活和梯度压缩
大型神经网络的模型并行训练中，同时压缩激活和梯度对收敛性的影响进行了探索，实验证明梯度对于压缩的要求比激活更低，使用 TopK 技术在推理阶段也需要进行压缩，误差反馈技术在模型并行训练中并没有提高性能，但在推理阶段允许无压缩的模型推理并且品
PDF6 months ago
Clip21: 梯度剪裁的误差反馈
本研究设计了 Clip21，这是第一个证明有效并实用的反馈机制，用于解决梯度剪切在分布式设置中引起的收敛性问题，并证明了我们的方法与在平滑非凸区域内的分布式梯度下降相同的收敛速度。
PDFa year ago
动量可证明地改善误差反馈！
本研究中我们提出的基于 Polyak 动量的 EF21-SGDM 算法在非凸随机优化中减少了之前 EF 算法中大批量的限制，同时后续提出的双动量版本进一步减少了计算复杂度。该算法不需要其他假设，并在理论证明上具有创新意义。
PDFa year ago
特征稀少时误差反馈显著
本研究首次证明具有贪心稀疏化和误差反馈的梯度下降算法可以在分布式优化问题中获得更好的通信复杂度，在研究中，我们特别关注了稀疏特性。
PDFa year ago
MM现代误差反馈的实用算法扩展 - EF21 升级版
本文提出了 6 种有效的实用扩展 EF21，并分别分析它们的强收敛理论，这些扩展可以与 EF 一起使用，采用压缩策略和带有 Markov 压缩器的新的错误反馈机制可以更好地优化分布式梯度下降算法。
PDF3 years ago
MMEF21: 一种新的、更简单、理论更好、实际更快的误差反馈
研究了分布式训练中常用的错误反馈机制的不足，并提出一种新的错误反馈机制 EF21，其在光滑非凸问题上具有快速 O（1/ T）的收敛率，是目前非依赖于无偏压缩器的 EF 类型方法的第一个线性收敛结果。该方法应用广泛，能够有效提高分布式学习的通
PDF3 years ago
线性收敛误差补偿 SGD
本文提出了一种统一的分析分布式 SGD 各种变体的方法，涵盖了不同的量化 SGD、误差补偿 SGD 和延迟更新 SGD 变体，并通过一个定理推导了其所有方法的复杂度结果。在此基础上，我们开发了 16 种新的方法，其中包括第一种基于误差反馈和
PDF4 years ago
CVPR多尺度增强除雾网络与密集特征融合
本文介绍了一种基于 U-Net 架构的多尺度提升去雾网络，包含了稠密特征融合、 Strengthen-Operate-Subtract 策略等内容，实验表明该方法在公开数据集和实际雾霾图像上表现优异。
PDF4 years ago