Oct, 2023

通过简单的集成投影器进行去偏、校准和改进的半监督学习性能

PDF
TL;DR该研究提出了一种名为 Ensemble Projectors Aided for Semi-supervised Learning (EPASS) 的简单方法，主要关注于改进学习的嵌入以提高现有对比联合训练半监督学习框架的性能。通过将多个投影仪的集合嵌入存储在内存中，EPASS 提高了泛化能力，增强了特征表示，并提升了性能。对于 ImageNet 数据集上的 SimMatch 和 CoMatch 等任务，EPASS 相对于强基线模型，仅使用 1k/1%/10% 的标记数据，将 top-1 错误率提高了 39.47%/31.39%/24.70% 和 40.24%/32.64%/25.90%，这些改进在多种方法、网络架构和数据集上都具有一致的有效性。
semi-supervised learningensemble projectorscontrastive learningembeddingsperformance
发现论文，激发创造
  • 具有辅助增强的自监督学习与引导式投影仪

    本文提出了一种条件增强感知的自监督学习方法（CASSLE），使用投影器网络对图像进行辅助引导，以实现对不同数据扩充方法的感知敏感性，并可获得多项下游任务的最新性能表现。

    May, 2023

  • 非监督式高层次特征学习与多模型映射集成用于半监督图像分类和图像聚类

    本文研究在有限或无注释但有大量未标记数据的情况下进行图像分类的问题，并提出了一种新方法 ——Ensemble Projection (EP)。该方法通过从所有可用数据中采样一组富有代表性的视觉原型，然后使用这些原型来训练判别分类器，最终产生新的特征向量。该方法在半监督图像分类、无限制自学习图像分类和图像聚类方面均取得了很好的效果。

    Feb, 2016

  • EMP-SSL: 迈向自监督学习一轮训练

    本文介绍了一种非常高效的自监督学习方法 —— 极端多补丁自监督学习（Extreme-Multi-Patch Self-Supervised-Learning, EMP-SSL）。与大多数自监督学习方法相比，该方法通过增加每个图像实例的图像数量，避免了很多启发式技术，并将训练时长减少了两个数量级，同时在 CIFAR-10 和 ImageNet-100 等多个数据集上达到了较高的精度。

    Apr, 2023

  • 基于类别感知对比半监督学习

    提出了一种名为 CCSSL 的半监督学习方法，采用类别聚类和图像对比改善模型的伪标签质量和在真实世界中的鲁棒性，并通过目标重新加权实现了干净标签学习和减少噪声标签学习。实验表明其在多个数据集上均取得了显著的性能提升。

    Mar, 2022

  • 自监督对比学习的几何理解

    本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

    May, 2022

  • 半监督学习的时间集成

    本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

    Oct, 2016

  • 通过解缠和自组装在随机潜空间上进行半监督学习

    本文提出了一种结合半监督学习 (Semi-supervised learning, SSL) 和无监督分化表征学习的方法来增强自我聚合算法 (self-ensembling)，并以多标签分类的方式在胸部 X 光图像上进行了验证。结果表明，该方法的性能得到了改善，并且其分化的表征也更加具有解释性。

    Jul, 2019

  • 一种通道集合方法：无偏差和低方差的伪标签对半监督分类至关重要

    我们提出了一种轻量级通道级集成方法，用于将多个次优的伪标签有效地合并为理论上保证的无偏差和低方差的伪标签，该方法可轻松扩展到任何半监督学习框架，并在 CIFAR10/100 上显著优于现有技术，无论是在效果上还是效率上。

    Mar, 2024

  • 具有熟练教师的半监督三维目标检测

    本文提出了一种新的 Pseudo-Labeling 半监督三维目标检测框架，通过引入 STE 和 CBV 模块提高了教师模型的性能，同时提出了 BCL 软监督信号来减小错误样本对训练的负面影响。实验证明，在 ONCE 和 Waymo 数据集上，我们的方法显著提高了基线，同时在 Waymo 数据集上，只使用了一半的注释即可超过完全注释的 oracle 模型。

    Jul, 2022

  • 加权集成自监督学习

    本文使用数据相关加权交叉熵损失函数的框架，探索如何通过集成方法提高最近的自监督学习技术，实验证明我们的方法在 ImageNet-1K 的少样本学习中优于现有的 SSL 方法

    Nov, 2022