BriefGPT.xyz
Ask
alpha
关键词
gradient bias
搜索结果 - 4
在设备任意不可用情况下的快速联邦学习
本研究提出了一种名为 Memory-augmented Impatient Federated Averaging （MIFA）的算法来应对 Federated Learning 中设备不可用的问题，该算法有效地避免了不活跃设备带来的过度延
→
PDF
3 years ago
AAAI
MetaNODE: 面向少样本学习的神经 ODE 原型优化
本研究提出了一种基于元学习的原型优化框架，称为 MetaNODE，通过神经常微分方程模型优化模型原型，解决了在稀疏数据上梯度信息失真的问题，从而实现了有效的 Few-Shot Learning。在 miniImagenet、tieredIm
→
PDF
3 years ago
ICLR
IDF++：整数离散流的分析与改进以实现无损压缩
本文研究和改进针对无损压缩的整数离散流。我们通过探究离散随机变量的可逆流是否比连续随机变量的更为灵活来开始分析，并通过证明发现此理论不适用于整数离散流。此外，我们研究了整数离散流中的梯度偏差效应，并通过实验证明其对模型的性能影响高度依赖于架
→
PDF
4 years ago
自适应截断反向传播通过时间来控制梯度偏差
本文提出了一种适应性的 TBPTT 方案，将时间滞后问题转化为选择一定容忍梯度偏差量的问题，并对于满足几何衰减的真实 RNNs，可以通过变化截断长度来控制偏差，证明了该偏差控制了含非凸损失函数的 SGD 的收敛速度，并设计了一种实用的适应性
→
PDF
5 years ago
Prev
Next