通过输入变换的自监督标签增强

ICMLOct, 2019

Self-supervised Label Augmentation via Input Transformations

Hankook Lee, Sung Ju Hwang, Jinwoo Shin

TL;DR通过自监督学习，本文提出的单一统一任务学习方法能够有效地提高模型的准确性，并且在各种全监督学习场景下均具有广泛的适用性。

Abstract

self-supervised learning, which learns by constructing artificial labels given only the input signals, has recently gained considerable attention for learning representations with unlabeled datasets, i.e., learning without any human-annotated supervision. In this paper, we show that su

self-supervised learning multi-task learning input transformation aggregated inference self-distillation

发现论文，激发创造

使用自监督学习能够提升模型的鲁棒性和不确定性

自我监督能够提高深度学习在鲁棒性、异常检测等难题上的表现甚至超越了全监督学习，成为未来自我监督学习研究的新方向。

Jun, 2019

自我训练提升自然语言理解的预训练

本文研究了一种使用自训练方法的半监督学习，提出了 SentAugment 数据增强方法，并取得了在文本分类任务上高达 2.6% 的改进。

Oct, 2020

通过增强感知自我监督改善表示的可转移性

为了避免生成数据不敏感的特点，同时获取更具普适性的表示，我们提出了一种辅助自监督损失 AugSelf，它学习两个随机样本之间的增强参数差异，并可以轻松地纳入最先进的表征学习方法中，稳定提高了监督和无监督方法的表征迁移性能。

Nov, 2021

通过知识转移提升自监督学习

本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

May, 2018

跨领域的自监督学习

本研究提出一种对物体在不同域中的识别问题采用监督学习和自监督学习方法相结合的多任务学习算法，通过学习对象形状，掌握空间定向和部件相关性等概念，证明该算法在域通用和适应性方面具有较高的竞争力。

Jul, 2020

自监督增强少样本学习的监督

本论文提出了一种利用自我监督任务作为辅助损失函数来改善小型标注数据集上深度表示可迁移性的技术，其中使用自监督损失学习的表示减少了元学习的相对误差率，此方法在各种学习任务中都取得了良好的表现。

Jun, 2019

自监督生成对抗网络中的辅助旋转损失

利用对抗性训练和自监督技巧，通过任务的表示学习促进判别器学习有意义的特征表示的全无监督学习方法产生高质量的图像。在相同的条件下，自监督生成对抗网络的表现与有标记数据的生成网络相似。同时，我们还演示了该方法可扩展到一个无条件的图像集中，以实现 FID 为 23.4.

Nov, 2018

LT-GAN: 具自我监督的带潜在变换检测的 GAN

本文提出了一种自监督方法（LT-GAN）来提高生成对抗网络的生成质量和图像多样性，通过估计 GAN 引起的变化，即通过扰动生成器的潜空间引起的生成图像的变换，从而促进了关于潜在变换的语义连贯的图像的合成。实验证明 LT-GAN 在各种数据集上的有效性以及在 CelebA-HQ 和 ImageNet 上改善受控图像编辑方面的帮助。

Oct, 2020

SelfAugment：自监督学习自动增强策略

本文通过自监督的方式，解决了在无监督学习中选取数据扩增策略的问题，同时验证了自监督学习的准确性。

Sep, 2020

多视角自监督学习

本文提供了一种信息理论框架，从多个视角探究自监督学习的特性，并介绍了可以丢弃任务无关信息的任务相关自适应目标函数，为自监督学习的目标设计提供了更加广阔的空间。

Jun, 2020