ICLRDec, 2021

重要性加权是否与插值分类器不兼容？

PDF
TL;DR通过理论证明和神经网络实验，我们发现针对过参数化神经网络，经典的重要性加权技术在指数形式的损失函数下失效，但在多项式形式的损失函数下可恢复，最终提出的经过加权的多项式损失函数在修正分布偏移方面的性能要优于通常的加权交叉熵损失函数，并能取得超过目前业界最优方法的测试精度。
发现论文，激发创造
  • 深度学习中重要性加权的效果是什么？

    本文探讨了稳健的重要性加权学习算法在深度神经网络中的影响，并发现对神经网络的影响在训练早期更加明显，但随着训练的继续，这种影响逐渐减弱，L2 正则化和批量归一化可以部分恢复重要性加权的影响，但表达方式并不正确。

    Dec, 2018

  • 深度学习中重要性加权的作用理解

    通过对深度学习模型中重要性加权的研究，本文提供了正式的表征和理论证明，并揭示了在深度学习模型下的优化动态和泛化性能，扩展到了许多活跃研究领域。

    Mar, 2021

  • 超参数化领域中 “重要性加权” 估计器的离群错误的尖锐分析

    我们研究了一个过参数化的高斯混合模型，结合了 “重要性权重”，对一个插值解的内分布和外分布的测试误差进行了严格的分析，发现了最坏情况下分布偏移鲁棒性和平均准确度之间的新的权衡关系。

    May, 2024

  • 在线重要性权重感知更新

    本文论述了在基于梯度的优化方法中，如何处理样本的重要性权重对优化过程的影响，提出了一种基于重要性权重的更新方法，并在在线主动学习中取得了显著的实验效果。

    Nov, 2010

  • 机器学习中的重要度加权研究简述

    通过密度比重方法，本研究论述了重要性加权在统计学和机器学习中的广泛应用及其与相关研究的关联。

    Mar, 2024

  • 重要性调节：过参数模型的群体鲁棒性

    本文探讨了过度参数化模型的精度问题，提出了一种名为 “importance tempering” 的方法来解决分布偏移问题，并在实验中取得了最佳状态分类任务的最佳结果。

    Sep, 2022

  • 自主驱动的重要性权重理论分析 —— 基于协变量偏移广义化的研究

    本文证明了独立驱动的重要性权重算法的有效性，并将其解释为特征选择过程，指定了最小稳定变量集，在理想条件下，该算法可以识别此集合中的变量，并提供了渐近性质分析，结果在多个合成实验中得到证明。

    Nov, 2021

  • 重要性加权主动学习

    提供了一个实用的、统计上连贯的方案，可在通用损失函数下主动学习二分类器，该算法使用重要性加权来纠正抽样偏差，并通过控制变量来给出严格的标签复杂性界限，实验表明，该方法减少了实现许多学习问题的良好预测性能所需的标签复杂性。

    Dec, 2008

  • 重新思考分布移动下的深度学习重要性加权

    本文研究分布偏移问题下，重要性加权在复杂数据上无法良好运作的原因，并提出了一种基于动态重要性加权的端到端解决方案。实验表明，该方法能够与现有最先进的方法相媲美。

    Jun, 2020

  • 利用无似然重要性加权的方法校正学习生成模型的偏差

    采用似然比未知的情况下可估计的概率分类器进行样本权重优化的无似然比重要加权方法，可以用于校正生成模型中的偏差问题，并提高生成模型的样本质量和性能。

    Jun, 2019