Dec, 2018

半监督学习遇上迁移学习：训练策略、模型和数据集

PDF
TL;DR本研究綜合研究了從預先訓練模型開始使用半監督學習方法，探討在不同條件下，如訓練策略，架構選擇和數據集等方面的表現，得出半監督學習技術對從預訓練模型開始訓練的模型的提升效果較使用隨機初始化的模型來的小，而當預訓練模型的源數據域與目標任務的數據域存在明顯差異時，SSL 方法的提升效果明顯提高的結果。
semi-supervised learningdeep neural networkspre-trained modeltransfer learningssl methods
发现论文，激发创造
  • 基于预训练模型的半监督学习的渐进特征调整

    建议使用伪标签从无标签数据中更新特征提取器，以解决预训练特征表示所带来的偏见，并通过实验证明该方法优于现有解决方案。

    Sep, 2023

  • 数据高效深度学习的自动调整方法

    本文提出了 Self-Tuning 模型，通过自动调整来联合探索有标签和无标签数据以及预训练模型的转移，并且使用 Pseudo Group Contrast 机制来缓解对伪标签的依赖性和提高对错误标签的容忍度。实验表明，在五个任务中，Self-Tuning 具有比其 SSL 和 TL 对应物更好的表现，例如在 15% 标签的 Cars 数据集上将精度提升了一倍。

    Feb, 2021

  • 关于半监督学习在细粒度分类中的真实评估

    本篇研究评估了半监督学习在存在严重类别不平衡和含有新类别图像的真实数据集上的有效性。研究结果表明最近提出的半监督学习方法可以利用不同类别的数据提高性能，但相较于迁移学习仍然表现不足。此外，本文证明在迁移学习中，现有的半监督学习方法在存在不同类别数据时往往是有害的。因此，标准的微调加蒸馏自训练是最健壮的方法。这些研究结论说明，对真实数据集的半监督学习可能需要不同于文献中普遍使用的方法。

    Apr, 2021

  • 深度半监督学习算法的实际评估

    通过实现多种常用的 SSL 技术并在一系列实验中进行测试，研究发现简单基线方法的表现通常被低估，而 SSL 方法对标记和未标记数据的敏感性不同，当未标记数据集包含类外示例时性能可能会显著下降，因此我们提供了一个公共代码重现平台以帮助实现 SSL 技术在实际应用中的可行性。

    Apr, 2018

  • 使用预训练的有条件生成模型进行迁移学习

    在深度神经网络中，迁移学习对于新目标任务的训练至关重要。我们提出了一种基于深度生成模型的迁移学习方法，通过伪预训练和伪半监督学习两个阶段来进行，不需要做出现有方法中的假设，能够优于从头开始训练和知识蒸馏的基准方法。

    Apr, 2022

  • 利用自监督学习提升模型公平性

    自我监督学习对模型的公平性具有显著影响，通过引入公平性评估框架，该研究系统地比较了数百个自我监督和精调模型在性能和公平性方面的差异，并证明了自我监督学习可以在最小损失性能的情况下显著提高模型的公平性。

    Jun, 2024

  • 评估自监督和监督模型在顺序数据中的公平性

    自监督学习对公平性和性能的影响进行了研究，结果表明通过自我监督学习，性能可与有监督方法相媲美，同时可以极大提高公平性，尤其适用于高风险、数据稀缺的应用领域，如医疗保健。

    Jan, 2024

  • 少样本零样本情境中的半监督学习

    我们通过引入额外的熵损失构建了一个分类器，用于对来自已知和未知类别的数据进行分类，从而改进了现有的半监督学习方法在已知和未知类别的分类中的表现。通过在 CIFAR-100 和 STL-10 两个基准图像分类数据集上的实验证明，我们相对于现有的 SSL、开放集合 SSL 和开放世界 SSL 方法取得了巨大的改进。当标记数据非常有限（每个类别 1-25 个标记示例）时，进步最为显著。

    Aug, 2023

  • 带有少量标注的半监督学习

    本文提出一种新的 SSL 算法，通过引入转移学习和自主监督来初始化数据的表示，再利用新算法，交替拟合有标签和无标签点以降低过拟合和避免标签和无标签损失平衡的问题。实验证明，该方法在标准基准测试中表现优异，特别是在从其他任务或数据集中细化时，效果更佳。

    May, 2019

  • 低数据条件下的自监督视觉学习：一项比较评估

    在相对有限 / 受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了直接的未来研究方向。

    Apr, 2024