CVPRJan, 2022

使用级联正样本检索的自监督视频特征学习

PDF
TL;DR本文提出了级联正例检索（CPR）方法，用于多视角、多模式的自我监督视频表示学习，该方法在各项评估指标上优于之前的方法，并且在 UCF101 上实现了 56.7％的 Top-1 视频检索准确度.
发现论文，激发创造
  • 基于对比正样本挖掘的无监督 3D 动作表示学习

    本文提出了一种基于对比学习的骨骼三维动作表示学习的非自身正样本挖掘（CPM）框架，采用孪生编码器训练匹配所有实例的相似度分布，通过在上下文队列中识别非自身正实例，提出了一种增强正实例学习策略，从而提高学习的鲁棒性，并在 NTU 和 PKU-MMD 数据集上取得了优异的效果。

    Aug, 2022

  • 具有相关感知对比预训练的无监督密集检索

    本文提出了一种基于对中间训练模型的关联系统估计和自适应加权的相关性感知对比度学习方法，应用于无监督稠密 Retriever 模型，提高了其检索效果并且表现出很好的 few-shot 学习能力。

    Jun, 2023

  • 自监督共同训练用于视频表示学习

    本文提出以自监督为主的视频特征学习方法，其中利用语义正例和共同训练提高了训练效果，同时也获得了在动作识别等任务上与其他自监督方式相当的性能。

    Oct, 2020

  • 跨架构自监督视频表示学习

    本文提出一种新的跨架构对比学习（CACL）框架，用于自监督视频表示学习，使用 3D CNN 和视频变换器并行生成对比学习中多样化的正对，同时引入了一个具有明确视频序列编辑距离预测能力的时间自监督学习模块，用于学习强大的时序性表示，在 UCF101 和 HMDB51 数据集上表现卓越，超越 VideoMoCo 和 MoCo + BE 等现有技术。

    May, 2022

  • 基于检索的时序对比学习的重建

    通过检索 - 重建（REBAR）对比学习，我们提出了一种利用卷积交叉注意力体系结构计算两个不同时间序列之间的 REBAR 误差的新方法，并通过验证实验表明，REBAR 误差是相互类别成员资格的预测器，从而为其用作正 / 负标签赋予了合理性。最后，一旦集成到对比学习框架中，我们的 REBAR 方法可以学习到在各种模态下取得最先进性能的嵌入。

    Nov, 2023

  • 时空对比视频表征学习

    本文引入了一种基于对比损失的自监督对比视频表示学习方法，利用在嵌入空间中相同短视频的两个增强剪辑进行学习，同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识，在 Kinetics-600 数据集上，该方法可以超过 ImageNet 和 SimCLR 的性能，达到 70.4% 的 top-1 准确率

    Aug, 2020

  • 通过缩放的正负样本对比学习提升组合图像检索

    通过构建三元组并利用大型多模态语言模型，提出了解决复合图像检索问题的数据生成方法，并设计了用于优化表示空间的两阶段微调框架，实验结果显示方法在多个数据集上实现了最先进的结果，并在低资源场景下的复合图像检索中表现出色。

    Apr, 2024

  • 示范对比学习

    该论文提出了一个从多个视角捕捉的无标注视频演示中学习视觉表示的框架，优化了最近提出的自监督学习算法，应用对比学习来增强与任务相关的信息和抑制特征嵌入中的无关信息，验证了所提出的方法在模拟几种机器人任务，包括 pick and place 任务中的应用，评估了学习表示的三个指标：视点对齐，阶段分类和强化学习，在所有情况下，结果都表明与现有方法相比，该方法水平更高，而且训练轮数更少。

    Jan, 2022

  • 合作 - 对抗性对比学习：正样本和负样本均可直接学习

    本文提出了一种有原则的方法来直接学习正样例和负样例，以配合和对抗的方式通过最大化和最小化对比损失来学习，获得了较好的预训练结果并开源了源代码和预训练模型。

    Mar, 2022

  • 利用 Inter-intra 对比框架进行自监督视频表示学习

    本文提出了一种基于自我监督学习的视频特征表示方法，在传统自我监督学习的基础上通过引入内部负样本来扩展负样本集，从而使单个视频更加充分地表达时空信息，并能够有效地提高视频检索和识别的性能。

    Aug, 2020