本文探讨了稳健的重要性加权学习算法在深度神经网络中的影响,并发现对神经网络的影响在训练早期更加明显,但随着训练的继续,这种影响逐渐减弱,L2 正则化和批量归一化可以部分恢复重要性加权的影响,但表达方式并不正确。
Dec, 2018
通过理论证明和神经网络实验,我们发现针对过参数化神经网络,经典的重要性加权技术在指数形式的损失函数下失效,但在多项式形式的损失函数下可恢复,最终提出的经过加权的多项式损失函数在修正分布偏移方面的性能要优于通常的加权交叉熵损失函数,并能取得超过目前业界最优方法的测试精度。
Dec, 2021
本文论述了在基于梯度的优化方法中,如何处理样本的重要性权重对优化过程的影响,提出了一种基于重要性权重的更新方法,并在在线主动学习中取得了显著的实验效果。
Nov, 2010
通过密度比重方法,本研究论述了重要性加权在统计学和机器学习中的广泛应用及其与相关研究的关联。
Mar, 2024
本文研究分布偏移问题下,重要性加权在复杂数据上无法良好运作的原因,并提出了一种基于动态重要性加权的端到端解决方案。实验表明,该方法能够与现有最先进的方法相媲美。
Jun, 2020
本文提出一种有效的计算深度学习模型中 loss value 的方法,它使用小型模型在并行训练时提高了深度学习优化中重要抽样的应用。结果表明,此方法在测试深度卷积和递归神经网络的图像分类和语言建模任务时取得了良好的普适性。
May, 2017
提供了一个实用的、统计上连贯的方案,可在通用损失函数下主动学习二分类器,该算法使用重要性加权来纠正抽样偏差,并通过控制变量来给出严格的标签复杂性界限,实验表明,该方法减少了实现许多学习问题的良好预测性能所需的标签复杂性。
Dec, 2008
本文探讨了过度参数化模型的精度问题,提出了一种名为 “importance tempering” 的方法来解决分布偏移问题,并在实验中取得了最佳状态分类任务的最佳结果。
Sep, 2022
该研究聚焦于探索深度学习中的隐含偏差现象,具体研究了权重初始化对优化和泛化问题的影响,通过调查使用深度网络解决欠定线性系统问题时初始化的隐式正则化的作用,有助于更全面地理解深度学习的性能特点。
Feb, 2024
我们研究了一个过参数化的高斯混合模型,结合了 “重要性权重”,对一个插值解的内分布和外分布的测试误差进行了严格的分析,发现了最坏情况下分布偏移鲁棒性和平均准确度之间的新的权衡关系。
May, 2024