一个用于理解开放世界半监督学习的图论框架

Nov, 2023

一个用于理解开放世界半监督学习的图论框架

A Graph-Theoretic Framework for Understanding Open-World Semi-Supervised Learning

Yiyou Sun, Zhenmei Shi, Yixuan Li

TL;DR这篇论文以图论为基础，提出了开放世界半监督学习的理论框架，并在此基础上设计了一种叫做 “光谱开放世界表示学习” 的算法，用于从已标记数据中推断出未知类别的未标记数据，并且能在已知和未知类别的聚类任务中提供可靠的理论保证。

Abstract

open-world semi-supervised learning aims at inferring both known and novel classes in unlabeled data, by harnessing prior knowledge from a labeled set with known classes. Despite its importance, there is a lack of theoretical foundations for this problem. This paper bridges the gap by

open-world semi-supervised learning graph-theoretic framework spectral representation learning clustering performance labeled data

发现论文，激发创造

开放世界半监督学习

研究了在实际场景中半监督学习的一个基本局限性，即未标注的测试数据往往包含以前在标注训练数据中遇到的类。为了解决这个问题，提出了 ORCA，一种端到端的深度学习方法来处理未知类别在标注和未标注数据中的不一致性，并在图像分类数据集和单细胞注释数据集上实验，表明在 ImageNet 数据集上 ORCA 对于已知类别的改善为 25％，对于未知类别的改善为 96％。

Feb, 2021

自学开放世界类的鲁棒半监督学习

提出了一种用于自学习开放世界类别（SSOC）的开放世界半监督学习方法，该方法可以明确地自学习多个未知类别，并通过与熵损失的结合设计了成对相似性损失来有效发现新类别，实验证明其在多个常见分类基准测试中优于现有最先进基线方法，特别是在 ImageNet-100 数据集上取得了显著的 22% 改进。

Jan, 2024

重新思考开放世界半监督学习：分布不匹配和归纳推理

该研究通过解决开放世界半监督学习中的假设假设和评估方法的问题，以扩展实用的开放世界半监督学习。

May, 2024

开放式半监督学习用于节点分类

OpenIMA 是一个不依赖预训练图编码器的鲁棒性、基于对比学习的方法，用于从头开始训练节点分类模型并通过减小偏差的伪标签来解决开放世界半监督节点分类问题。

Mar, 2024

超越所知：针对开放世界图学习的新颖类发现

本论文提出了一种名为 ORAL 的开放世界图神经网络方法，用于在图中进行节点分类，并解决了图上发现新类别的挑战，通过半监督的原型学习检测类别之间的相关性，利用原型关注网络消除类别间的相关性，从而得到不同类别的区分性表示，通过对齐和组合多个堆叠的原型关注网络的标签估计生成伪标签以充分利用多尺度图特征，广泛实验证明了所提方法的有效性。

Mar, 2024

朝着真实的半监督学习

本文提出一种基于伪标签的半监督学习方法，能够处理 open-world SSL 问题，并通过样本不确定性和类别分布先验知识等手段，为已知和未知类别的未标记数据生成可靠的类别分布感知型伪标签。该方法在多种常用数据集上表现良好，特别是在 CIFAR-100，ImageNet-100 和 Tiny ImageNet 数据集上的表现显著优于现有的最先进技术。

Jul, 2022

基于图的半监督学习的灵活生成性框架

本文提出了一个基于图结构的半监督学习的生成框架，通过逼近节点特征，标签和图结构的联合分布，使用可扩展的变分推断技术来推断缺失的标签，并在基准数据集上进行了全面的实验，结果表明该方法在大多数设置中优于现有的最先进模型。

May, 2019

开放世界弱监督目标定位

通过提出一种弱监督对象定位任务 OWSOL (Open-World Weakly-Supervised Object Localization), 并使用一个对比学习方法 (co-learning) 将有标签和无标签数据进行降维表示，通过聚类方法识别有标签数据的类别，最终生成出一个完整的广义类反激活 (Generalized Class Activation Map) 用于对象定位，并提出了多个语义中心点驱动的对比损失 (contrastive loss), 使得算法在 ImageNet-1K 和 iNatLoc500 数据集等 OWL 识别基准上超过所有基线，具有较大的性能优势。

Apr, 2023

OpenLDN: 学习发现新类别用于开放式半监督学习

本文介绍了一种名为 OpenLDN 的方法，该方法针对半监督学习中存在的已标记数据和未标记数据来自于相同数据分布的困难，解决了开放世界半监督学习的问题，通过使用成对相似性损失来识别已知类别的样本，同时探测和聚类未标记数据中属于新类别的样本。实验结果表明，OpenLDN 在多个常用分类基准测试中都优于现有最佳方法，具有更好的准确性 / 训练时间折衷。

Jul, 2022

少样本零样本情境中的半监督学习

我们通过引入额外的熵损失构建了一个分类器，用于对来自已知和未知类别的数据进行分类，从而改进了现有的半监督学习方法在已知和未知类别的分类中的表现。通过在 CIFAR-100 和 STL-10 两个基准图像分类数据集上的实验证明，我们相对于现有的 SSL、开放集合 SSL 和开放世界 SSL 方法取得了巨大的改进。当标记数据非常有限（每个类别 1-25 个标记示例）时，进步最为显著。

Aug, 2023