通过部分监督学习方法，我们设计了一种训练模型，在只有少数类别的实例标注数据下，通过可微分裁剪和只使用Groundtruth box的方法，取得了COCO部分监督分割测试集的最佳表现，并发现了强大的mask-head泛化效应。

Apr, 2021

该研究论文使用了无需手工制作的数据增强方法来学习高度语义化的图像表示，引入了I-JEPA框架，通过从单个上下文块中预测同一图像中的各种目标块的表示来实现自我监督学习。实验结果表明，与Vision Transformers相结合，I-JEPA具有高度的可扩展性和强大的下游性能。

Jan, 2023

本文介绍了使用堆叠式联合嵌入架构（JEA）来学习高度可分离的语义层次表示的方法，从而产生表现出更具独特的语义概念的表示空间，证明了其在语义分类上的有效性。

May, 2023

提出了一种单阶段且独立的方法MOCA，用高层特征定义新颖的掩码和预测目标，有效地结合了自我监督学习的两种范式，在低样本设置下取得了新的最先进结果，并且训练速度至少比之前的方法快3倍。

Jul, 2023

共享编码器的MC-JEPA联合嵌入预测架构和自监督学习方法在光流估计和内容特征方面取得相当的性能，并在图像和视频的语义分割等下游任务上与现有的无监督光流基准和常见的自监督学习方法相当。

Jul, 2023

Graph-JEPA是首个针对图领域提出的Joint-Embedding Predictive Architectures (JEPAs)模型，通过掩码建模学习不同子图的嵌入表示，并且采用预测编码子图在二维平面上单位双曲线上坐标的替代训练目标，验证结果表明Graph-JEPA能够学习具有表达力并在图分类和回归问题中具有竞争力的表示。

Sep, 2023

基于视觉Transformer的模型在图像分割任务上取得了显著的改进。然而，这些架构对计算资源的使用可能对部署设备造成负担。为了克服这一挑战，我们引入了ECO-M2F，即EffiCient TransfOrmer Encoders for Mask2Former风格的模型。ECO-M2F提供了一种根据输入图像的特定需求自适应计算级别的策略，以替代当前的一刀切方法。为了实现性能和计算效率之间的平衡，我们提出了一个三步骤的方法，其中包括训练原始架构以实现从编码器的早期退出、创建每个训练样本所需的理想编码器层数的派生数据集，以及使用上述派生数据集训练一个基于输入图像预测编码器层数的门控网络。此外，只需重复第二和第三步骤即可改变计算精度折衷，从而大大缩短重新训练时间。在公开数据集上的实验证明，所提出的方法在保持性能的同时降低了期望的编码器计算成本，适应各种用户计算资源，对架构配置具有灵活性，并且可以扩展到除分割任务外的目标检测。

Apr, 2024

我们介绍了一种新的基于JEPA的masked modeling目标DMT-JEPA，通过计算特征相似性和使用轻量级交叉注意力头，将语义相似的邻域图像作为目标来生成具有辨别力的潜在目标，从而弥补了JEPA在理解局部语义方面的不足。

May, 2024

通过分析深度线性模型的训练动态，揭示了预测隐藏空间中的显著特征对于Joint Embedding Predictive Architecture（JEPA）方法成功的隐含偏差机制。

Jul, 2024

本研究针对将自监督学习方法（如I-JEPA）适配卷积神经网络的挑战，提出了CNN-JEPA，这是一种新颖的自监督学习方法。实验表明，CNN-JEPA在ImageNet-100上表现优于I-JEPA，训练时间减少17-35%，并且在准确性上接近现有的自监督学习方法，展示了其在卷积神经网络上的简化和高效性。

Aug, 2024