本文旨在提出一种自监督视频表示学习的新型先验任务，通过计算一系列时空统计摘要信息，利用神经网络训练来产生摘要信息，采用多种空间分区模式进行粗略的空间位置编码方法来缓解学习难度，在四个 3D 骨干网络上的实验结果表明，该方法优于现有方法在视频分析任务上的性能表现包括动作识别、视频检索、动态场景识别和动作相似性标签。

Aug, 2020

本文研究了无需人工注释的图像表示学习问题，通过自监督学习的方式，构建了一个卷积神经网络，该网络能够以拼图问题作为预文本任务进行训练，从而无需手动标注，并在后续用于解决目标分类和检测问题；同时引入了一种名为 CFN 的无上下文网络，该网络以图像块作为输入，并将其早期处理单元的感受野（或上下文）明确限制为一次一个图像块，以保持跨任务的兼容性。通过训练 CFN 来解决拼图问题，我们学习了对象部分的特征映射以及它们的正确空间排列，实验评估结果表明，所学习的特征捕获了语义相关的内容；本文提出的学习视觉表示的方法在多个转移学习基准测试中胜过现有的最先进方法。

Mar, 2016

本文提出了一种自我监督学习框架，使用 Rubik's cube recovery 为代理任务来预训练 3D 神经网络，以便从原始 3D 数据中学习平移和旋转不变特性，与从头开始训练相比，用预训练网络微调能够更好地提高 3D 深度学习网络在不使用额外数据的情况下对体积医疗数据集的准确性，这是第一篇关注 3D 神经网络的自我监督学习的工作。

Oct, 2019

提出了一种自我监督的学习方法，可以联合推理视频的空间和时间上下文，利用拼图游戏方式进行视频片段的训练。

Aug, 2018

本研究提出了一种基于自监督学习的 3D 医学成像的新型框架，即 Rubik's cube ++，通过对 3D 体数据进行体积化转换来更好地利用器官的内在三维解剖信息，可以预先训练 3D 神经网络，在胰腺分割和脑组织分割等各种任务中表现出更好的性能。

Jul, 2020

本研究提出了一种名为时间调谐的方法，通过在无标签视频上使用一种新颖的自监督时序对齐聚类损失函数，从而提高视频和图像的表示质量，进而改善了现有最先进方法在无监督语义分割方面的效果。我们相信这种方法为进一步利用丰富的视频资源进行自监督学习的规模化铺平了道路。

Aug, 2023

在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

Apr, 2019

本文介绍了一种利用自监督学习学习无标签 3D 点云的时空表示学习 (STRL) 框架，通过从 3D 数据中获得富含的时空线索来应对 3D 情景理解任务中预训练模型泛化性差的困境，实验证明该方法能显著提高 3D 点云中的表示学习性能。

Sep, 2021

该论文提出了一种从视频的原始时空信号中学习视觉表示的方法，通过无监督的顺序验证任务，即确定来自视频的帧序列是否按照正确的时间顺序排列，学习卷积神经网络 (CNN) 的强大视觉表示，其结果显示出该方法在捕捉人类姿势等在时间上变化的信息方面具有敏感性，并可用于姿势估计和行动识别。

Mar, 2016

通过在训练过程中直接强制将强大的三维结构先验性知识融入模型，我们提出了一种新的方法来加强现有的自监督学习方法，并通过一系列数据集实验证明了我们的三维感知表示比传统的自监督基线更加稳健。

Jun, 2024