关键词exponential moving average
搜索结果 - 9
- Switch EMA：提供更好平缓度和锐度的免费午餐
利用一行修改将 EMA 参数切换到原始模型并揭示了 Switch EMA（SEMA）的充分潜力，该方法能够帮助深度神经网络在平坦性和尖锐性之间取得更好的泛化最优解，并通过基于视觉和语言数据集的比较实验证实了 SEMA 的有效性。
- 线性组合的指数移动平均用于无线信道预测
提出了一种基于指数移动平均（EMA）的预测模型，并通过实验证明了其在预测准确性上的优势，尽管计算复杂度略微增加，但在任何实验条件下以比 EMA 显著更好的性能提供了可观的改进。
- 分析和改进扩散模型的训练动力学
该研究提出了改进 ADM 扩散模型架构以解决不均匀训练、网络激活以及指数移动平均参数的问题，使得图像合成在计算复杂度相等的情况下得到了显著改进。
- 临时教师切换半监督语义分割
该研究论文介绍了一种名为双教师的简单而有效的方法，利用双临时教师解决了学生和教师权重耦合的问题，通过定期生成伪标签训练学生模型并保持不同特征，以显著缩短训练时间，并证明了该方法适用于各种模型。
- ICML指数权重平均作为阻尼谐振
该论文研究了指数移动平均 (EMA) 在深度学习优化中的应用，提出了一种改进的训练算法 BELAY，通过物理类比分析 EMA 的有效性，并在理论和实证上证明了 BELAY 相对于标准 EMA 的几个优点。
- SGD 噪声的蝴蝶效应：行为克隆和自回归中的误差放大
这项研究探讨了使用深度神经网络进行行为克隆的训练不稳定性。我们观察到，尽管对行为克隆损失几乎没有影响，但训练过程中对策略网络进行的小批量随机梯度下降更新导致长时间跨度奖励出现尖锐振荡。我们通过实验证明了这些振荡的统计和计算原因，并发现它们源 - 训练基于分数的生成模型的改进技术
通过新的理论分析，提出了 score-based generative models 在高维空间中的学习和采样方法，并提出了维护模型权重的指数移动平均方法，从而在多个数据集上将生成对抗网络（GANs）的生成样本的质量与分辨率都超过了，如 C - 指数移动平均 vs 移动指数平均
本文介绍了定义趋势指标的数学工具，并解释了均值和移动平均数与指数移动平均数之间的关系。此外，介绍了最常用的趋势指标 MACD，并讨论了其特性。
- ICLRGAN 训练中平均化的非凡有效性
本文研究了在 GAN 训练中参数平均的两种不同技术：移动平均和指数移动平均。作者提供了 EMA 技术的第一篇理论支持，并通过对许多数据集的实证实验验证了 EMA 和 MA 技术的显著有效性。