ICMLMay, 2024

消除偏见：对基础模型进行半监督学习的微调

PDF
TL;DR通过在预训练基础模型中应用平衡的边界 Softmax 和解耦式标签平滑，FineSSL 提供了一种新的半监督学习方法，显著改善了现有方法的性能问题，并在多个基准数据集上达到了新的最先进水平，降低了训练成本超过六倍，可以无缝集成各种微调和现代半监督学习算法。
semi-supervised learningfinesslpre-trained foundation modelsbalanced margin softmaxdecoupled label smoothing
发现论文，激发创造
  • 关于半监督学习在细粒度分类中的真实评估

    本篇研究评估了半监督学习在存在严重类别不平衡和含有新类别图像的真实数据集上的有效性。研究结果表明最近提出的半监督学习方法可以利用不同类别的数据提高性能，但相较于迁移学习仍然表现不足。此外，本文证明在迁移学习中，现有的半监督学习方法在存在不同类别数据时往往是有害的。因此，标准的微调加蒸馏自训练是最健壮的方法。这些研究结论说明，对真实数据集的半监督学习可能需要不同于文献中普遍使用的方法。

    Apr, 2021

  • 评估自监督和监督模型在顺序数据中的公平性

    自监督学习对公平性和性能的影响进行了研究，结果表明通过自我监督学习，性能可与有监督方法相媲美，同时可以极大提高公平性，尤其适用于高风险、数据稀缺的应用领域，如医疗保健。

    Jan, 2024

  • 利用自监督学习提升模型公平性

    自我监督学习对模型的公平性具有显著影响，通过引入公平性评估框架，该研究系统地比较了数百个自我监督和精调模型在性能和公平性方面的差异，并证明了自我监督学习可以在最小损失性能的情况下显著提高模型的公平性。

    Jun, 2024

  • 简单去偏置的安全半监督学习：不要害怕未标记的数据

    提出一种去偏移的方法，适用于多数深度半监督学习方法，并提供了简单的理论保证和推广误差界限，以在各种情境中提供更好的模型校准，同时说明了流行的 SSL 方法的直觉解释。

    Mar, 2022

  • 深度半监督学习算法的实际评估

    通过实现多种常用的 SSL 技术并在一系列实验中进行测试，研究发现简单基线方法的表现通常被低估，而 SSL 方法对标记和未标记数据的敏感性不同，当未标记数据集包含类外示例时性能可能会显著下降，因此我们提供了一个公共代码重现平台以帮助实现 SSL 技术在实际应用中的可行性。

    Apr, 2018

  • 半监督学习遇上迁移学习：训练策略、模型和数据集

    本研究綜合研究了從預先訓練模型開始使用半監督學習方法，探討在不同條件下，如訓練策略，架構選擇和數據集等方面的表現，得出半監督學習技術對從預訓練模型開始訓練的模型的提升效果較使用隨機初始化的模型來的小，而當預訓練模型的源數據域與目標任務的數據域存在明顯差異時，SSL 方法的提升效果明顯提高的結果。

    Dec, 2018

  • 基于预训练模型的半监督学习的渐进特征调整

    建议使用伪标签从无标签数据中更新特征提取器，以解决预训练特征表示所带来的偏见，并通过实验证明该方法优于现有解决方案。

    Sep, 2023

  • FlexSSL: 泛化高效的半监督学习框架

    通过构建一个半合作的 “游戏”，FlexSSL 旨在解决半监督学习中标签可观察性的辨别问题，从而充分利用标注和未标注数据，并通过理论推导证明了它与噪声标签上的损失重新加权的联系，通过在不同任务上的评估，我们证明了 FlexSSL 可以持续增强半监督学习算法的性能。

    Dec, 2023

  • 自监督医学图像分析的微调策略再探讨

    我们建立了强大的对比和修复型自监督学习基线，证明中间层的微调对于对比型自监督学习更有效，而第三个季度的微调对于修复型自监督学习更有效。相对于端到端微调的标准，我们的最佳微调策略通过微调网络的前三个季度，相对提高了 5.48% 的性能，并提出了一种简单且有效的方法来利用多个自监督学习模型的互补优势，与独立使用最佳模型相比提高了 3.57% 的性能。因此，我们的微调策略不仅增强了个别自监督学习模型的性能，还可以有效利用多个自监督学习模型的互补优势，在自监督医学影像分析中取得了显著的改进。

    Jul, 2023

  • 基于类别感知对比半监督学习

    提出了一种名为 CCSSL 的半监督学习方法，采用类别聚类和图像对比改善模型的伪标签质量和在真实世界中的鲁棒性，并通过目标重新加权实现了干净标签学习和减少噪声标签学习。实验表明其在多个数据集上均取得了显著的性能提升。

    Mar, 2022