基于过渡矩阵的 Dirichlet 分布的逐样本加权方法用于噪声标签学习

ICLRMar, 2024

基于过渡矩阵的 Dirichlet 分布的逐样本加权方法用于噪声标签学习

Dirichlet-based Per-Sample Weighting by Transition Matrix for Noisy Label Learning

HeeSun Bae, Seungjae Shin, Byeonghu Na, Il-Chul Moon

TL;DR利用噪声标签的过渡矩阵来实现分类器或风险的统计一致性已经成为先前研究的焦点，而我们提出了一种新的利用方法，基于重新采样的 RENT，并通过 DWS 框架对其与重新加权方法进行了比较。我们的实验证明，RENT 在各种基准数据集上始终优于其他过渡矩阵利用方法，包括重新加权。

Abstract

For learning with noisy labels, the transition matrix, which explicitly models the relation between noisy label distribution and clean label distribution, has been utilized to achieve the statistical consistency

learning with noisy labels transition matrix utilization method dirichlet distribution-based rent

发现论文，激发创造

噪声标签下的元迁移适应性强鲁棒深度学习

研究提出了一种新的元过渡学习策略，基于少量原始数据实现在不需要任何 anchor 点假设的前提下，改善了噪声标签对分类器参数和噪声转移矩阵的影响，并且证明了该方法在正确估计期望过渡矩阵方面具有统计一致性保证，该方法的实验表明其比先前的方法更准确地提取了过渡矩阵，尤其是在大的噪声情况下。

Jun, 2020

多标签噪声转移矩阵估计与标签相关性：理论与算法

本文研究了噪声多标签学习中类相关的转换矩阵的可辨识性，并提出了一种新的估计器，该估计器利用标签相关性而无需锚点或精确拟合噪声类后验概率。通过信息提取纯净标签相关性，并利用这些事件概率暗示的标签相关性的差异，证明了转换矩阵的可辨识性，并通过解决双线性分解问题获得转换矩阵。理论上，我们建立了多标签转换矩阵估计器的估计误差界限，并推导出我们的统计一致算法的泛化误差界限。实验上，我们验证了我们的估计器在估计多标签噪声转换矩阵方面的有效性，从而导致了出色的分类性能。

Sep, 2023

可证明的端到端标签噪声学习无需锚点

本文提出了一种不依赖基准点（anchor points）的端到端框架，通过同时优化两个目标：噪声标签与神经网络预测概率之间的交叉熵损失和转移矩阵列构成的单纯形的体积，识别转移矩阵和提高统计一致性。在基准数据集上的实验结果证明了方法的有效性和鲁棒性。

Feb, 2021

双重 T：降低标签噪声学习中转移矩阵估计误差

本文提出了一种名为 dual-T estimator 的算法，通过中间类的引入，将原始的转移矩阵分解为两个易于估计的转移矩阵，避免了直接估计噪声类后验概率而导致的转移矩阵估计误差较大问题，并在理论分析和实证结果中证明了其对于转移矩阵的估计和分类性能的提高。

Jun, 2020

矩阵平滑：噪声标签下使用过渡矩阵的 DNN 正则化

本文提出了一种名为 Matrix Smoothing 的方法，通过使用平滑过的转换矩阵来更新深度神经网络，以控制深度神经网络在概率建模中的过拟合，并在实验中证明了该方法不仅显著提高了概率建模的稳健性，而且甚至获得了更好的转移矩阵估计。

Mar, 2020

利用全变差正则化从仅有噪声标签中学习噪声转移矩阵

本文提出了一种基于总变差正则化的弱监督分类方法，不需要依赖于易错的含噪类后验预测，可以同时估计噪声转移矩阵和学习分类器。实验证明该方法在基准和实际数据集上的有效性。

Feb, 2021

通过高效过渡矩阵估计学习，以对抗标签错误纠正

本研究提出一种学习时利用标签转移矩阵的方法，通过增加分类器的怀疑性来缓解标签错误纠正问题，并通过引入双头结构实现单个反向传播内每次迭代中高效地估计标签转移矩阵，结果表明该方法具有比现有方法更好的训练效率及相当或更好的准确性。

Nov, 2021

流形正则化过渡矩阵估计下的实例相关标签噪声学习

研究了标签噪声学习问题中的转移矩阵估计，基于人类任务标注时更加倾向于将外观相似的实例标注为同一类别的心理学和生理学证据，提出了 T（x）几何形状的假设，并利用流形嵌入技术来有效地减少了其自由度并使其在实践中稳定可估计。实验结果表明，该方法在处理具有挑战性 IDN 数据时优于现有方法。

Jun, 2022

图像以外：估计低质量特征任务的标签噪声转移矩阵

本文提出了一种信息理论方法来降低低质量特征的影响，用于识别和估计标签噪声转移矩阵，从而改进了噪声转移矩阵的估计，作者在多个任务下验证了该方法的必要性和有效性。

Feb, 2022

标签噪声鲁棒扩散模型

使用 Transition-aware weighted Denoising Score Matching（TDSM）训练带有噪声标签的条件扩散模型，其中 TDSM 目标函数包含得分网络的加权和，并整合了实例级和时间相关的标签转移概率。通过在各种数据集和噪声标签设置上进行实验证明，TDSM 可以提高与给定条件相匹配的生成样本的质量，甚至在常见基准数据集上也能提高生成性能，从而证明了噪声标签对于生成模型学习的潜在风险以及 TDSM 在传统噪声标签修正的基础上进一步提高性能的实证贡献。

Feb, 2024