本文研究了分布转移问题(DS)中包含了四种情况的训练集和测试集的支持度不同的情况,通过普适的广义重要性加权(GIW)方法将 IW 方法进行了推广,使其不仅能适用于情况(i)和(ii)还能用于情(iii)和(iv),专注于考虑训练集和测试集支持度不匹配并且保证风险的一致性,实验表明 GIW 比 IW 方法在(iii)和(iv)情况下表现更好。
May, 2023
通过密度比重方法,本研究论述了重要性加权在统计学和机器学习中的广泛应用及其与相关研究的关联。
Mar, 2024
通过对深度学习模型中重要性加权的研究,本文提供了正式的表征和理论证明,并揭示了在深度学习模型下的优化动态和泛化性能,扩展到了许多活跃研究领域。
Mar, 2021
分析神经网络的深度权重空间(Deep Weight Spaces,DWS)中的过拟合问题,针对该问题提出数据增强和自监督对比学习方法,并在分类和自监督学习中证明了其有效性。
Feb, 2024
本文探讨了稳健的重要性加权学习算法在深度神经网络中的影响,并发现对神经网络的影响在训练早期更加明显,但随着训练的继续,这种影响逐渐减弱,L2 正则化和批量归一化可以部分恢复重要性加权的影响,但表达方式并不正确。
Dec, 2018
本文论述了在基于梯度的优化方法中,如何处理样本的重要性权重对优化过程的影响,提出了一种基于重要性权重的更新方法,并在在线主动学习中取得了显著的实验效果。
Nov, 2010
通过理论证明和神经网络实验,我们发现针对过参数化神经网络,经典的重要性加权技术在指数形式的损失函数下失效,但在多项式形式的损失函数下可恢复,最终提出的经过加权的多项式损失函数在修正分布偏移方面的性能要优于通常的加权交叉熵损失函数,并能取得超过目前业界最优方法的测试精度。
Dec, 2021
利用倒数概率处理权重的方法和深度序列模型通过渗透记录直接估计治疗效果,解决时间相关混杂对结果估计的偏差问题。
Jun, 2024
使用 EWC 精细调优可以减轻训练数据集中的偏见,同时对于原始训练数据集的遗忘率较低。
Apr, 2020
该研究提出了一种基于重要性抽样的子集选择算法,能够在批处理环境中提高模型训练的性能,在可用数据批次中选择样本。该算法在七个公共数据集上的性能明显优于其他子集选择算法,并且在标签信息不可用的主动学习环境中具有竞争力。研究还对其重要权重方法进行了初步的理论分析,证明了泛化和采样率的限制。
Jan, 2023