自我监督：探究交互环境中的自监督表示

ICMLJun, 2019

自我监督：探究交互环境中的自监督表示

Supervise Thyself: Examining Self-Supervised Representations in Interactive Environments

Evan Racah, Christopher Pal

TL;DR在 Flappy Bird 和 Sonic The Hedgehog 两个视觉环境中，我们对自监督方法进行了小规模研究。我们定量评估了从这些任务中学到的表示，以及它们对新的情况（如新的关卡和纹理）的可推广性。最后，我们通过可视化它们关注的环境部分评估了这些自监督特征。我们的结果表明了表示的效用高度依赖于环境的视觉和动态特征。

Abstract

self-supervised methods, wherein an agent learns representations solely by observing the results of its actions, become crucial in environments which do not provide a dense reward signal or have labels. In most c

self-supervised methods pretraining auxiliary tasks visual environments representations

发现论文，激发创造

自监督增强少样本学习的监督

本论文提出了一种利用自我监督任务作为辅助损失函数来改善小型标注数据集上深度表示可迁移性的技术，其中使用自监督损失学习的表示减少了元学习的相对误差率，此方法在各种学习任务中都取得了良好的表现。

Jun, 2019

自监督学习：生成或对比

本文介绍自监督学习作为深度学习替代方案的优势及其在计算机视觉、自然语言处理和图学习中的应用，分类总结了现有的自监督学习方法，并进一步探讨其相关的理论分析工作，最后简要讨论了自监督学习的未来方向和开放性问题.

Jun, 2020

自监督表示学习调查

无监督学习下的意义化特征表示方法综述及实验结果分析。

Aug, 2023

高效有效的自监督视觉表示学习

本研究提出一种新的辅助任务 —— 旋转预测，用于加强现有最先进的基于相似性和对比性方法，并在多个数据集上证明了我们的方法能显着提高性能。

Oct, 2022

使用物体感知表达式的多物体场景视觉运动控制

本文探索运用物体感知表征学习技术进行机器人任务，自监督学习方法可降低实际世界中收集大量标记数据的成本，该研究展示物体感知表征学习技术在策略学习和物体定位预测方面显著提高了当前技术的效能和表现。

May, 2022

自监督视频表征学习基准测试

本文提出了用于视频领域的自监督学习基准，并对数据集大小、数据分布、数据噪声、自监督预训练架构相关的五个不同方面进行了观察分析，同时提出一种新方法，不需要过多的训练数据，即可超越现有自监督预训练的先进水平。

Jun, 2023

自监督视觉表示学习再探讨

该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习，并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。

Jan, 2019

视频自监督学习综述

本篇综述论文讨论了自监督学习在视频领域的应用，主要归纳了四种不同的自监督学习方法，分别为预测任务、生成式学习、对比学习和跨模态协议，并讨论了现有方法的局限性和未来发展方向。

Jun, 2022

自监督和有监督方法是否学习相似的视觉表征？

对比对神经表示的最新技术，研究了对比自我监督算法和简单图像数据在共同架构中的监督学习方法的中间表示的学习，发现这些方法通过不同的方法学习相似的中间表示，但在最后几层中表示迅速发散，旨在突出学习的中间表示的重要性，并提出了辅助任务设计的关键问题。

Oct, 2021

任务诱导的表示学习

本研究评估表征学习方法在视觉复杂环境下决策制定中的有效性，并发现任务诱导的表征学习方法可以提高样本效率和学习效率。

Apr, 2022