numerical instability | BriefGPT

关键词numerical instability

搜索结果 - 8

MixQuant：混合精度量化与位宽优化搜索
量化是一种用于创建高效深度神经网络的技术，可以通过以低于 32 位浮点精度的比特宽度执行计算和存储张量来减小模型大小和推理延迟，但量化可能导致舍入误差引起的数值不稳定性，降低量化模型的准确性，而 MixQuant 则是一种搜索算法，根据舍入
PDF9 months ago
16 位神经网络训练中减缓反向传播数值不稳定性的高效方法
在这项研究中，我们深入研究了机器学习模型在 16 位计算中出现的数值不稳定性，特别是在使用 RMSProp 和 Adam 等常见优化算法时。我们确定单一超参数 epsilon 是导致这种数值不稳定性的主要原因。通过对 16 位计算中这些优化
PDFa year ago
应对混沌：变分流数值不稳定性的分析与诊断
本研究探讨了数值不稳定性对于变分流中的采样、密度评估和证据下界（ELBO）估计的可靠性的影响，发现虽然存在严重的数值不稳定性，但采样和计算结果仍然足够准确，并提出了一种诊断过程来验证实践中使用数值不稳定流的结果。
PDFa year ago
神经 Laplace：在 Laplace 域中学习不同类别的微分方程
提出了一种名为 Neural Laplace 的框架，它使用 Laplace 域来建模系统的动态，并能学习各种微分方程类，包括延迟微分方程和积分微分方程，能够更稳健地建模粘性微分方程和具有分段强制函数的微分方程。在实验中，证明其在建模和外推
PDF2 years ago
ICLR强化学习中的高方差是否不可避免？一项连续控制案例研究
本文探讨了强化学习实验的高方差问题，指出一些不稳定性的原因，然后提出了一种利用正则化技术来解决数值不稳定性问题的方法。经过实验发现，这种方法非常有效，可以减小结果的方差并提高学习速度。
PDF3 years ago
最优输运的图论加法逼近
本文提出了一种基于 Gabow 和 Tarjan 的图算法的新颖分析，并提供了一个简单的贪婪式迭代算法，其执行时间为 O (n^2*C/δ + nC^2/δ^2)，用于求解概率分布的最优运输问题，在数值不稳定的情况下具有竞争力的执行时间。
PDF5 years ago
ANODE：神经 ODE 的无条件精确与内存效率梯度
通过 Adjoint 方法解决网络梯度反向传播的内存占用过高导致的一些问题，提出了 ANODE 神经 ODE 框架，解决了梯度不稳定问题，并且有 O (L) + O (N_t) 的内存占用和与 ODE 反转相同的计算成本。
PDF5 years ago
AAAI对抗攻击、回归和数值稳定性正则化
本文研究了对回归神经网络的对抗攻击问题，并提出了一种基于正则化的稳定性防御方法，该方法表现出了比之前方法更好的效果和改进了函数的数值稳定性。
PDF6 years ago