深度学习中重要性加权的效果是什么？

Dec, 2018

深度学习中重要性加权的效果是什么？

What is the Effect of Importance Weighting in Deep Learning?

Jonathon Byrd, Zachary C. Lipton

TL;DR本文探讨了稳健的重要性加权学习算法在深度神经网络中的影响，并发现对神经网络的影响在训练早期更加明显，但随着训练的继续，这种影响逐渐减弱，L2 正则化和批量归一化可以部分恢复重要性加权的影响，但表达方式并不正确。

Abstract

importance-weighted risk minimization is a key ingredient in many machine learning algorithms for causal inference, domain adaptation, class imbalance, and off-policy reinforcement learning. While the effect of importance weighting is well-characterized for low-capacity misspecified mo

importance-weighted risk minimization deep neural networks sgd l2 regularization batch normalization

发现论文，激发创造

深度学习中重要性加权的作用理解

通过对深度学习模型中重要性加权的研究，本文提供了正式的表征和理论证明，并揭示了在深度学习模型下的优化动态和泛化性能，扩展到了许多活跃研究领域。

Mar, 2021

重要性加权是否与插值分类器不兼容？

通过理论证明和神经网络实验，我们发现针对过参数化神经网络，经典的重要性加权技术在指数形式的损失函数下失效，但在多项式形式的损失函数下可恢复，最终提出的经过加权的多项式损失函数在修正分布偏移方面的性能要优于通常的加权交叉熵损失函数，并能取得超过目前业界最优方法的测试精度。

Dec, 2021

在线重要性权重感知更新

本文论述了在基于梯度的优化方法中，如何处理样本的重要性权重对优化过程的影响，提出了一种基于重要性权重的更新方法，并在在线主动学习中取得了显著的实验效果。

Nov, 2010

机器学习中的重要度加权研究简述