Feb, 2023

基于 DIET 的无监督学习：以 Datum IndEx 为目标的自监督、重构、投影头自由

PDF
TL;DR通过简化分类模型中的目标类为每个样本本身，引入了一种新颖的表征学习方法 ——DIET，它不需要解码器或投影器网络，也不需要正样本或重构，不引入超参数，并且可以跨数据集和体系结构直接使用，其学习到的表征质量高且与现有最先进的方法相当。
发现论文，激发创造
  • 深度表示学习的无监督图像分类

    本研究提出了一种无监督图像分类框架，旨在通过不使用嵌入聚类来简化和优化深度聚类算法，并在 ImageNet 数据集上进行了实验。同时验证了其在多标签图像分类，目标检测，语义分割等任务的泛化性，以及其在迁移学习中的有效性。

    Jun, 2020

  • 一种将自我监督聚类和能量模型相统一的贝叶斯方法

    通过贝叶斯分析，我们对最先进的自监督学习目标进行了研究，提出了一种从第一原理推导这些目标的标准化方法，并表明将自监督学习与基于似然的生成模型进行整合的自然方式。我们在集群自监督学习和能量模型的领域内验证了这一概念，并引入了一种新的下界，可可可靠地惩罚最重要的失败模式。我们的理论发现通过对合成和真实世界数据的实验证实，包括 SVHN、CIFAR10 和 CIFAR100，因此显示我们的目标函数能够在聚类、生成和外分布检测性能方面远远优于现有的自监督学习策略。我们还证明 GEDI 可以集成到神经符号框架中，以减轻推理的快捷问题，并通过增强的分类性能学习更高质量的符号表示。

    Dec, 2023

  • 通过联合生成和判别训练学习符号表示

    介绍了 GEDI，一种结合了现有自监督学习目标和基于似然的生成模型的贝叶斯框架，它结合了生成性和判别性方法的优点，可以在不需要额外监督或昂贵的预训练步骤的情况下轻松集成和联合训练。 在真实世界的数据上进行的实验表明，GEDI 在聚类性能方面优于现有的自监督学习策略，并且符号组件进一步允许其利用逻辑约束形式的知识来改善小样本数据情况下的性能。

    Apr, 2023

  • 自监督模型的数据集推理

    研究了使用私有训练集对抗模型盗窃的方法， 自监督模型在数据集上的推断是保护这些模型的有效方法，同时该方法提出了衡量被盗模型仿真度的方法。

    Sep, 2022

  • 稳定且因果推理用于区分自监督深度视觉表示

    从因果关系的角度分析了有问题的自我监督方法，并提出了解决方案，通过在推理过程中应用线性变换来提高时间效率。

    Aug, 2023

  • SEED: 自监督蒸馏用于视觉表征

    本文主要介绍一种针对小模型的自监督学习方法 ——SElf-SupErvised Distillation (SEED), 提出将大型网络的知识通过自监督方式传递到小型网络中来提高性能，实验证明 SEED 可显著提升小型网络在下游任务上的表现。

    Jan, 2021

  • 自主标记：同时聚类与表示学习

    本文提出了一种通过最大化标签和输入数据索引之间的信息来解决标签聚类与表示学习相结合的问题的新方法。该方法可以有效地对数以百万计的输入图像和数以千计的标签进行自标注，以训练高度竞争的图像表示，具有优于现有模型的性能。

    Nov, 2019

  • 自监督聚类简化半监督学习

    本文提出了一种将基于聚类的自监督方法转化为半监督学习的方法，通过引入一个多任务框架将监督学习和自监督学习结合，证明该方法在 CIFAR100 和 ImageNet 上的表现是最优的。

    Jun, 2023

  • SD-DiT：释放扩散变换器中自监督辨别的力量

    通过引入自监督区分知识来增强扩散变压器 (Diffusion Transformer, DiT) 的训练效果，并在 ImageNet 数据集上进行了广泛实验，实现了训练成本和生成能力之间的竞争平衡。

    Mar, 2024

  • AET vs. AED: 通过自编码变换而非数据进行无监督表示学习

    本文提出了一种新的无监督表示学习范式，通过自编码变换（AET）而非传统的自编码数据（AED）方法进行训练，使得神经网络可以在没有标注数据的情况下学习。实验结果表明，AET 范式可以实例化一大类变换，具有比现有的无监督方法更好的性能，特别是在 CIFAR-10、ImageNet 和 Places 数据集上表现更接近完全监督对照组的上限。

    Jan, 2019