Apr, 2024

标签噪声的协同稀疏恢复

PDF
TL;DR通过引入协同稀疏恢复（CSR）方法，该研究通过协调模型预测与噪声恢复来减小错误泄露，从而提高模型泛化性能和降低验证偏差。CSR + 是一种基于 CSR 的联合样本选择策略的学习框架，在具有更多类别和高比例实例特定噪声的数据集上表现出显著优势。实验结果证明，CSR 和 CSR + 相比同级别方法，在模拟和真实噪声数据集上都取得了卓越的性能。
发现论文，激发创造
  • 通过过度参数化实现标签噪音下的稳健训练

    为解决对于干扰数据的过度拟合而影响泛化效果，我们提出了一种基于稀疏过参数化和隐式正则化的优化方案，通过对标签噪声进行建模和分离，实现了对于训练数据中的噪声数据清洗，最终获得了在多个真实数据集上较先进的测试结果，同时为优化过度参数化模型开辟了许多有趣的方向。

    Feb, 2022

  • 从嘈杂的数据中获取可重复使用的样本以实现强鲁棒性学习

    通过识别和纠正可重复使用的样本，同时与清洁样本一起利用，更新网络，以应对在使用网络图像训练深度细粒度模型时，标签噪声的问题。

    Aug, 2020

  • Jo-SRC：一种对抗噪声标签的对比学习方法

    该论文提出了一种名为 Jo-SRC 的噪声鲁棒方法，结合了样本选择和模型正则化，采用对抗学习的方式训练网络并引入一致性正则化，以提高模型的泛化性能。

    Mar, 2021

  • 联合稀疏恢复的置信传播

    研究压缩感知中的联合稀疏恢复问题，提出了最小均方误差估计问题、置信传播算法及其松弛版本以及近似信息传递算法，并使用密度演化提供了精确恢复的充分条件。

    Feb, 2011

  • Knockoffs-SPR：带噪声标签学习中的干净样本选择

    本文提出了一种用于学习带噪标签的理论上保证的干净样本选择框架，通过 Scalable Penalized Regression（SPR）方法建模网络特征与 one-hot 标签之间的线性关系来识别干净数据，并通过数据自适应方法的 Knockoffs-SPR 控制假阳率，结果表明该方法有效。

    Jan, 2023

  • 噪声鲁棒图像分类的协同网络学习和标签纠正

    提出了一个深度学习神经网络的标签检查和修正方法，该方法结合了小损失选择和噪声校正的思想，采用两个不同的网络来通过小损失选择方法训练，并根据两网络的分类误差和同意误差的评估来度量训练数据的置信度，在真实和人工数据集上测试表明该方法优于基准方法。

    Feb, 2022

  • 一种从线性样本混合中恢复稀疏信号的方法

    本文提出了有效的算法解决了学习混合线性回归模型中的模型恢复问题，即有多少次查询可以同时恢复两个不同的稀疏线性模型，这也可以被看作是压缩感知问题的推广。

    Jun, 2020

  • 稀疏因子模型下的噪声矩阵补全

    本文针对具有噪声的矩阵完成任务进行了研究，特别关注于估计由两个未知矩阵的乘积组成的矩阵，其中一个是稀疏矩阵的情况，提出了基于稀疏因子模型的正则化最大似然估计的误差界和算法方法。

    Nov, 2014

  • 通过高效过渡矩阵估计学习，以对抗标签错误纠正

    本研究提出一种学习时利用标签转移矩阵的方法，通过增加分类器的怀疑性来缓解标签错误纠正问题，并通过引入双头结构实现单个反向传播内每次迭代中高效地估计标签转移矩阵，结果表明该方法具有比现有方法更好的训练效率及相当或更好的准确性。

    Nov, 2021

  • 通过不确定性估计进行最佳样本选择及其在深度学习中的应用

    通过开发一个新的算法 COPS，我们提出了一个理论上最佳的解决方案，以最小化从样本数据训练的模型的预期损失。我们的方法在深度学习任务中可以有效地应用，通过使用模型的对数几率来估计采样比例，并通过低密度样本的降权方法来解决模型对错误规范的敏感性挑战。实证实验表明，COPS 相对于基线方法具有卓越的性能。

    Sep, 2023