ICLRMay, 2018

SOSELETO: 无标签噪声下的统一迁移学习和训练方法

PDF
TL;DR本文介绍了一个名为 SOSELETO 的新方法，该方法利用源数据集解决目标数据集上的分类问题。SOSELETO 是基于一种简单的直觉：针对目标问题，某些源示例比其他示例更具信息量。通过一个双层优化方案来解决这个问题，源示例的权重是共同解决的。因此，目标可以选择对其自己的分类任务最有信息的源示例。此外，优化的双层特性对目标具有一定的正则化作用，减轻了过度拟合问题。SOSELETO 可应用于传统的迁移学习，以及训练嘈杂标签数据集的问题；我们展示了这两个问题的最先进结果。
发现论文，激发创造
  • 概率双层核心集选择

    本研究提出了一种连续概率双层形式的核心集选择方法，通过学习每个训练样本的概率权重，该方法在标签噪声和类别不平衡情形下表现出优越性。

    Jan, 2023

  • 富人借宝：选择性联合微调的深度迁移学习

    本论文提出了一种源目标选择性联合微调方案，通过识别和使用一组特定的训练样本以及联合微调共享卷积层来改善深度学习任务的性能，该方案在多个视觉分类任务中以单一模型获得了最先进的性能。

    Feb, 2017

  • 构建一支强大的团队：使用次模传递可计估方法选择源模型集合

    提出了一种用于评估模型集合对下游任务的可转移性的新方法 OSBORN，能够综合考虑图像领域差异、任务差异和模型集合的内聚性，相较于现有指标 MS-LEEP 和 E-LEEP，该方法在图像分类和语义分割任务中表现出更好的性能。

    Sep, 2023

  • 促进具噪声标签学习中的适应性与平衡

    我们提出了一种名为 SED 的简单而有效的方法，以自适应和类平衡的方式处理标签噪声，通过设计新的样本选择策略来赋予自适应性和类平衡性，利用平均教师模型纠正噪声样本的标签，采用自适应和类平衡的样本重新加权机制为检测到的噪声样本分配不同的权重，并在选择的干净样本上添加一致性正则化以提高模型的泛化性能。

    Jul, 2024

  • Jo-SRC：一种对抗噪声标签的对比学习方法

    该论文提出了一种名为 Jo-SRC 的噪声鲁棒方法，结合了样本选择和模型正则化，采用对抗学习的方式训练网络并引入一致性正则化，以提高模型的泛化性能。

    Mar, 2021

  • 带有噪声标签的选择性监督对比学习

    本文提出了一种选择性有监督对比学习（Sel-CL）方法，通过筛选可信样本减少噪声标签对表示学习的影响，改善只依赖高质量标注数据的有监督对比学习算法中噪声标签导致的泛化性能差的问题。实验证明该方法在多个噪声数据集上均具有鲁棒性且表现优于现有方法。

    Mar, 2022

  • 迈向更可靠的迁移学习

    本文提出了一种新的多源传递学习方法，它结合了源目标相似性和不同可靠性源之间的关系，并提出了一个综合的主动传递学习框架，包括分布匹配和不确定性采样，在合成和真实数据集上进行了广泛的实验，表明其在多项基准测试中优于其他现有模型。

    Jul, 2018

  • 通过不确定性估计进行最佳样本选择及其在深度学习中的应用

    通过开发一个新的算法 COPS，我们提出了一个理论上最佳的解决方案，以最小化从样本数据训练的模型的预期损失。我们的方法在深度学习任务中可以有效地应用，通过使用模型的对数几率来估计采样比例，并通过低密度样本的降权方法来解决模型对错误规范的敏感性挑战。实证实验表明，COPS 相对于基线方法具有卓越的性能。

    Sep, 2023

  • 分享还是不分享：预测模型迁移学习的数据源集合

    通过模型迁移技术，使用支撑向量机算法并基于模型相似性，自动确定可用的多个数据源，以提高序列标注任务的性能，可以提高高达 24 个 F1 分数点。

    Apr, 2021

  • SELC: 自集成标签校正改进噪声标签学习

    为了解决深度神经网络容易过度拟合噪声标签从而导致通用性能不佳的问题，本文提出了一种名为自我集成标签校正（SELC）的新方法，利用指数移动平均的集成预测来更新原始的噪声标签，逐渐减少对噪声标签的监督，增加对集成预测的监督，相比现有很多最先进的方法，SELC 取得了更有前途和更稳定的结果。

    May, 2022