Feb, 2024
仿射变换估计提升视觉自监督学习
Affine transformation estimation improves visual self-supervised learning
David Torpey, Richard Klein
TL;DR通过在自我监督模型中添加一个模块，限制编码表示对仿射变换进行预测，可以提高学习过程的性能和效率，在各种现代自我监督模型中进行实验证明了性能改进，并对仿射变换的组成部分和关键架构设计进行了消融研究。
Abstract
The standard approach to modern self-supervised learning is to generate
random views through data augmentations and minimise a loss computed from the
representations of these views. This inherently encourages invariance to the
transformations that comprise the →
self-supervised learningdata augmentationaffine transformationperformance improvementarchitectural design decisions
发现论文，激发创造
通过增强感知自我监督改善表示的可转移性
为了避免生成数据不敏感的特点，同时获取更具普适性的表示，我们提出了一种辅助自监督损失 AugSelf，它学习两个随机样本之间的增强参数差异，并可以轻松地纳入最先进的表征学习方法中，稳定提高了监督和无监督方法的表征迁移性能。
Nov, 2021
同态自监督学习
本文提出了一种称为同态自监督学习的通用框架来统一和概括现有许多自监督学习算法，理论上展示了它如何包括输入增强，提供增强同态特征提取器，在简单的增强实验中进行验证，同时进一步地探索了该框架的参数与传统基于增强的自监督学习的参数之间的关系，并讨论了这种新视角对自监督学习的潜在好处。
Nov, 2022
自监督表示学习中没有免费午餐
本文研究探讨在计算机视觉中基于自监督表示学习依赖于手工图像变换以学习有意义且不变的特征，以及这些变换对于下游任务的影响、监督学习和微观图像等方面的问题。通过实验论证了变换对于下游任务的影响、监督数据集中各类别受到的影响各不相同和变换设计对微观图像影响更大的结论，并说明了变换设计可以作为一种监督形式来提高下游任务性能。
Apr, 2023
为什么自监督模型能够迁移？—— 探究不变性在下游任务中的影响
本文研究了自监督学习在图像中表征学习的应用，通过对比实例匹配方法，我们发现不同的视觉任务需要不同的数据扩充策略，并且使用具有互补不变性的表征方法可以提高各种下游任务的表现。
Nov, 2021