通过对深度学习模型中重要性加权的研究,本文提供了正式的表征和理论证明,并揭示了在深度学习模型下的优化动态和泛化性能,扩展到了许多活跃研究领域。
Mar, 2021
本文探讨了稳健的重要性加权学习算法在深度神经网络中的影响,并发现对神经网络的影响在训练早期更加明显,但随着训练的继续,这种影响逐渐减弱,L2 正则化和批量归一化可以部分恢复重要性加权的影响,但表达方式并不正确。
Dec, 2018
通过密度比重方法,本研究论述了重要性加权在统计学和机器学习中的广泛应用及其与相关研究的关联。
Mar, 2024
利用广义隐式 Follow-the-Regularized-Leader (FTRL) 框架,通过对比梯度更新,本文首次展示了重要性权重感知(Importance Weight Aware,IWA)更新在在线学习中具有更好的遗憾上界,进一步说明 IWA 更新可被视为近似的隐式 / 近端更新。
Jul, 2023
提供了一个实用的、统计上连贯的方案,可在通用损失函数下主动学习二分类器,该算法使用重要性加权来纠正抽样偏差,并通过控制变量来给出严格的标签复杂性界限,实验表明,该方法减少了实现许多学习问题的良好预测性能所需的标签复杂性。
Dec, 2008
通过理论证明和神经网络实验,我们发现针对过参数化神经网络,经典的重要性加权技术在指数形式的损失函数下失效,但在多项式形式的损失函数下可恢复,最终提出的经过加权的多项式损失函数在修正分布偏移方面的性能要优于通常的加权交叉熵损失函数,并能取得超过目前业界最优方法的测试精度。
Dec, 2021
本文提出了一种基于价值感知的重要性权重方法,可用于增强学习的离线预测模型,并在实验中进行了评估。
Jun, 2023
离线策略优化,随机情境赌博问题,重要性加权估计,隐性探索估计,PAC-Bayesian 策略类的改进
Sep, 2023
本文提出一种有效的计算深度学习模型中 loss value 的方法,它使用小型模型在并行训练时提高了深度学习优化中重要抽样的应用。结果表明,此方法在测试深度卷积和递归神经网络的图像分类和语言建模任务时取得了良好的普适性。
May, 2017
本文研究分布偏移问题下,重要性加权在复杂数据上无法良好运作的原因,并提出了一种基于动态重要性加权的端到端解决方案。实验表明,该方法能够与现有最先进的方法相媲美。
Jun, 2020