Jul, 2023

MC-JEPA: 一种联合嵌入预测架构用于自监督学习的动作和内容特征

PDF
TL;DR共享编码器的 MC-JEPA 联合嵌入预测架构和自监督学习方法在光流估计和内容特征方面取得相当的性能，并在图像和视频的语义分割等下游任务上与现有的无监督光流基准和常见的自监督学习方法相当。
self-supervised learningvisual representationsoptical flow estimationcontent featuresmc-jepa
发现论文，激发创造
  • 联合嵌入预测架构的图像自监督学习

    该研究论文使用了无需手工制作的数据增强方法来学习高度语义化的图像表示，引入了 I-JEPA 框架，通过从单个上下文块中预测同一图像中的各种目标块的表示来实现自我监督学习。实验结果表明，与 Vision Transformers 相结合，I-JEPA 具有高度的可扩展性和强大的下游性能。

    Jan, 2023

  • Point-JEPA：面向点云自监督学习的联合嵌入预测架构

    近期在点云领域中自监督学习方面的最新进展表现出显著的潜力。然而，这些方法常常面临一些问题，包括长时间的预训练时间、对输入空间的重构以及需要额外的模态。为了解决这些问题，我们介绍了一种专门针对点云数据设计的联合嵌入预测架构 ——Point-JEPA。为此，我们引入了一种排序器，它能够对点云标记进行排序，以在目标和上下文选择期间高效计算和利用标记的接近性。排序器还允许在上下文和目标选择之间共享标记的接近性计算，从而进一步提高效率。在实验证明，我们的方法在避免了对输入空间进行重构或使用额外模态的同时，取得了与最先进的方法相竞争的结果。

    Apr, 2024

  • T-JEPA：轨迹相似度计算的联合嵌入预测架构

    本文介绍了 T-JEPA，一种利用 Joint-Embedding Predictive Architecture（JEPA）进行自监督轨迹相似性计算的方法，通过在表示空间中对轨迹信息进行采样和预测，使模型能够推断轨迹的高级语义缺失部分，无需依赖领域知识或人工工作。在三个城市轨迹数据集和两个 Foursquare 数据集上进行了大量实验证明了 T-JEPA 在轨迹相似性计算上的有效性。

    Jun, 2024

  • 每一帧都很重要：视频分割和光流联合学习

    提出一种新的框架以实现视频语义分割和光流估计的联合训练，通过联合训练利用视频中已标记和未标记的帧，使视频语义分割和光流估计更加稳健并在相应任务中表现优异。

    Nov, 2019

  • 动态物体的联合自监督深度和光流估计

    本研究提出了一种基于深度学习的深度估计方法，通过将光流信息与深度估计相结合，在预测不同运动情况下的深度时减小像素包裹误差和光学向量，利用自我监督深度估计方法对不同运动区域进行独立估计并组合为完整的深度，能够比 KITTI Depth 数据集上的现有深度估计器表现更好，同时在 KITTI Flow 2015 数据集上也达到了竞争性的光流性能。

    Sep, 2023

  • 联合嵌入预测架构的图级表示学习

    Graph-JEPA 是首个针对图领域提出的 Joint-Embedding Predictive Architectures (JEPAs) 模型，通过掩码建模学习不同子图的嵌入表示，并且采用预测编码子图在二维平面上单位双曲线上坐标的替代训练目标，验证结果表明 Graph-JEPA 能够学习具有表达力并在图分类和回归问题中具有竞争力的表示。

    Sep, 2023

  • 自我监督学习的跨像素光流相似度

    采用动态光流来监督静态图像的表示，通过学习嵌入像素以达到其光流向量之间的相似性，我们设计了一种无需手工标注的学习卷积神经图像表示的新方法，这个新方法优于以往的运用动态光流学习卷积神经网络的方法，并在语义分割等领域首屈一指。

    Jul, 2018

  • S-JEPA：基于动态空间注意力的无缝跨数据集迁移

    通过研究使用联合嵌入预测架构 (JEPAs) 在脑电信号处理中实现无缝跨数据集迁移的挑战，本文提供了一项探索性研究。我们在一个包含 54 个受试者的数据集上进行了研究，并通过三个不同的脑 - 机接口范式 (运动想象、ERP 和 SSVEP) 评估了模型的下游性能。研究结果初步证明了 JEPAs 在脑电信号编码中的潜力，并强调了空间滤波在精确下游分类中的重要性，同时揭示了预训练示例长度对下游性能的影响但掩蔽大小不影响。

    Mar, 2024

  • SelFlow: 光流的自监督学习

    本研究提出了一种自监督学习的方法，通过利用非遮挡像素估计可靠的光流，用于学习虚假的遮挡。同时，通过设计一个简单的 CNN 来利用多帧的时间信息来获得更好的光流估计。该方法在 MPI Sintel、KITTI 2012 和 2015 等多个挑战基准测试中取得了最佳性能，并且该自监督预训练模型为监督微调提供了极好的初始化，其微调后的模型在三个数据集上均取得了最先进的结果。

    Apr, 2019

  • 自监督学习的视频对应流

    本文提出了一种适用于匹配视频中对应点的特征嵌入的自监督学习方法，其中使用自然的时空一致性训练指针模型，并通过引入信息瓶颈和循环模型等方式来解决跟踪器漂移等挑战，最终取得了在视频分割和关键点跟踪上的最佳效果。

    May, 2019