自监督视频表征学习基准测试
本篇综述论文讨论了自监督学习在视频领域的应用，主要归纳了四种不同的自监督学习方法，分别为预测任务、生成式学习、对比学习和跨模态协议，并讨论了现有方法的局限性和未来发展方向。
Jun, 2022
本文探讨了自监督学习的可扩展性，并在大规模数据集上评估了两种流行的自监督学习方法，并发现当前自监督学习方法没有充分利用大规模数据，且无法学习到有效的高层语义表示。同时，介绍了 9 个不同数据集和任务的自监督学习基准测试，必要时开展可比较的评估设置，以实现具有意义的进展。
May, 2019
该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习， 并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。
Jan, 2019
提出了一种名为 VITO 的简单范式，通过对动态视频帧的自我监督学习，有效地学习图像表示，该方法实现了视频预训练模型在语义分割和对象检测等任务上与 ImageNet 预训练模型性能相近甚至更好的表现，未来视频预训练有望成为学习图像表示的新默认方法。
Oct, 2022
该篇论文从训练算法、预训练数据集和最终任务的角度分析了自监督表示学习的最成功和最流行的变体 - 对比式学习，探究了各种问题，包括自监督模型与监督模型的性能比较，用于评估的当前基准，以及预训练数据对最终任务性能的影响。
Mar, 2021
本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除 500k 张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。
May, 2021
本研究表明，在计算机视觉中，使用自监督学习获得的特征，在域泛化方面与或优于使用监督学习获得的特征，并引入了一个新的自监督预文本任务来预测对 Gabor 滤波器组的响应，使用多任务学习提高了域泛化性能。
Mar, 2020
本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。
Oct, 2020