填补鸿沟：学习速率同步的开放世界半监督学习

Sep, 2023

填补鸿沟：学习速率同步的开放世界半监督学习

Bridging the Gap: Learning Pace Synchronization for Open-World Semi-Supervised Learning

Bo Ye, Kai Gan, Tong Wei, Min-Ling Zhang

TL;DR开放世界半监督学习中，通过估计类别分布的自适应边界损失和伪标签对比聚类的引入，解决了已有模型在学习新类别方面的困难，平衡了已见类别与新类别，并在 ImageNet 数据集上相较之前的最新技术提高了 3% 的平均准确率。

Abstract

In open-world semi-supervised learning, a machine learning model is tasked with uncovering novel categories from unlabeled data while maintaining performance on seen categories from labeled data. The central challenge is the substantial learning gap between seen and novel categories, a

open-world semi-supervised learning adaptive margin loss pseudo-label contrastive clustering novel class learning fine-tuning self-supervised pre-trained backbone

发现论文，激发创造

开放世界半监督学习

研究了在实际场景中半监督学习的一个基本局限性，即未标注的测试数据往往包含以前在标注训练数据中遇到的类。为了解决这个问题，提出了 ORCA，一种端到端的深度学习方法来处理未知类别在标注和未标注数据中的不一致性，并在图像分类数据集和单细胞注释数据集上实验，表明在 ImageNet 数据集上 ORCA 对于已知类别的改善为 25％，对于未知类别的改善为 96％。

Feb, 2021

朝着真实的半监督学习

本文提出一种基于伪标签的半监督学习方法，能够处理 open-world SSL 问题，并通过样本不确定性和类别分布先验知识等手段，为已知和未知类别的未标记数据生成可靠的类别分布感知型伪标签。该方法在多种常用数据集上表现良好，特别是在 CIFAR-100，ImageNet-100 和 Tiny ImageNet 数据集上的表现显著优于现有的最先进技术。

Jul, 2022

开放式半监督新类别发现

该文提出了一种名为 OpenNCD 的新的半监督开放世界的未知类别发现方法，它是一种在多个原型上进行的渐进式双层对比学习方法，该方法由两个相互增强的部分组成。首先，介绍了一种双层对比学习方法，然后提出了一个可靠的原型相似度度量方法。对三个图像数据集进行了广泛的实验，结果表明该方法在开放世界的情况下特别有效，特别是在已知类别和标签稀缺的情况下。

May, 2023

内存高效的半监督持续学习：世界就是自己的重放缓冲区

研究了半监督连续学习 (SSCL) 模型，使用伪标记、一致性正则化、知识蒸馏和外域检测策略，能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。

Jan, 2021

OpenMix：在开放世界中通过恢复已知知识发现新颖视觉类别

本文介绍了一种名为 OpenMix 的模型用于在无标签数据中发现新类别，并通过混合标签和伪标签来建立已知和未知示例之间的学习关系，提高模型对新类别的识别能力。

Apr, 2020

自学开放世界类的鲁棒半监督学习

提出了一种用于自学习开放世界类别（SSOC）的开放世界半监督学习方法，该方法可以明确地自学习多个未知类别，并通过与熵损失的结合设计了成对相似性损失来有效发现新类别，实验证明其在多个常见分类基准测试中优于现有最先进基线方法，特别是在 ImageNet-100 数据集上取得了显著的 22% 改进。

Jan, 2024

重新思考开放世界半监督学习：分布不匹配和归纳推理

该研究通过解决开放世界半监督学习中的假设假设和评估方法的问题，以扩展实用的开放世界半监督学习。

May, 2024

在线半监督对比学习用于通用连续学习

该研究提出了一种适用于部分标记数据的对比损失函数 SemiCon，并通过利用无标签数据流训练的基于记忆的方法来证明了其有效性。在 Split-CIFAR10 和 Split-CIFAR100 数据集上，与现有的半监督方法相比，我们的方法在可用很少的标签时效果更佳，只使用了 2.6％的标签和 10％的标签，就可以获得与最新的监督方法相似的结果。

Jul, 2022

标签匹配半监督目标检测

本篇论文从分布级别和实例级别两个不同但互补的视角提出了一个简单而有效的 LabelMatch 框架，用于解决自我训练期间存在的标签不匹配问题，并通过 Proposal Self-assignment 机制确定准确的伪标签来促进学生和教师之间的匹配。在 MS-COCO 和 PASCAL-VOC 数据集上的实验结果表明，所提出的框架明显优于其他现有方法。

Jun, 2022

一个用于理解开放世界半监督学习的图论框架

这篇论文以图论为基础，提出了开放世界半监督学习的理论框架，并在此基础上设计了一种叫做 “光谱开放世界表示学习” 的算法，用于从已标记数据中推断出未知类别的未标记数据，并且能在已知和未知类别的聚类任务中提供可靠的理论保证。

Nov, 2023