该研究论文使用了无需手工制作的数据增强方法来学习高度语义化的图像表示，引入了I-JEPA框架，通过从单个上下文块中预测同一图像中的各种目标块的表示来实现自我监督学习。实验结果表明，与Vision Transformers相结合，I-JEPA具有高度的可扩展性和强大的下游性能。

Jan, 2023

Graph-JEPA是首个针对图领域提出的Joint-Embedding Predictive Architectures (JEPAs)模型，通过掩码建模学习不同子图的嵌入表示，并且采用预测编码子图在二维平面上单位双曲线上坐标的替代训练目标，验证结果表明Graph-JEPA能够学习具有表达力并在图分类和回归问题中具有竞争力的表示。

Sep, 2023

通过研究使用联合嵌入预测架构 (JEPAs) 在脑电信号处理中实现无缝跨数据集迁移的挑战，本文提供了一项探索性研究。我们在一个包含54个受试者的数据集上进行了研究，并通过三个不同的脑-机接口范式 (运动想象、ERP和SSVEP) 评估了模型的下游性能。研究结果初步证明了JEPAs在脑电信号编码中的潜力，并强调了空间滤波在精确下游分类中的重要性，同时揭示了预训练示例长度对下游性能的影响但掩蔽大小不影响。

Mar, 2024

本文研究自监督通用音频表示学习的问题，探讨了在此任务中使用联合嵌入预测架构（JEPA），通过将输入的mel频谱图分割为上下文和目标两部分，计算每个部分的神经表示，并训练神经网络从上下文表示中预测目标表示。通过对各种音频分类基准进行广泛实验评估，包括环境声音、语音和音乐下游任务，我们研究了该框架中的几个设计选择，并研究了它们的影响。我们特别关注输入数据的哪部分被用作上下文或目标，并通过实验证明这显著影响模型的质量。尤其是，我们注意到在图像领域的一些有效的设计选择会导致音频上的性能下降，从而凸显了这两种模态之间的重要差异。

May, 2024

我们介绍了一种新的基于JEPA的masked modeling目标DMT-JEPA，通过计算特征相似性和使用轻量级交叉注意力头，将语义相似的邻域图像作为目标来生成具有辨别力的潜在目标，从而弥补了JEPA在理解局部语义方面的不足。

May, 2024

本研究探讨在大规模数据集下只使用裁剪而不使用调整大小的数据增强可得到强大的图像表示，并达到最先进的结果，同时讨论计算约束对实验深度学习研究结果的影响。

Jun, 2024

使用Mask-JEPA，一种自监督学习框架，结合遮罩分类器与联合嵌入预测架构，能有效地捕捉复杂的语义和精确的物体边界；通过在ADE20K、Cityscapes和COCO等数据集上进行严格评估，展示了Mask-JEPA的竞争性结果、卓越的适应性和鲁棒性，并凸显了其对不同分类器家族的无架构依赖性。

Jul, 2024

本研究针对将自监督学习方法（如I-JEPA）适配卷积神经网络的挑战，提出了CNN-JEPA，这是一种新颖的自监督学习方法。实验表明，CNN-JEPA在ImageNet-100上表现优于I-JEPA，训练时间减少17-35%，并且在准确性上接近现有的自监督学习方法，展示了其在卷积神经网络上的简化和高效性。

Aug, 2024

本研究解决了现有3D自监督表示学习方法中的偏差和无关细节保存问题。提出的3D-JEPA框架采用多块采样策略和上下文感知解码器，显著提高了重建效果和语义建模能力。实验证明，该方法在多种下游任务中表现出更高的准确率及效率，预训练周期更少。

Sep, 2024

本研究提出了Brain-JEPA模型，旨在解决脑活动分析中的性能不足问题。通过引入脑梯度定位和时空遮蔽技术，该模型在各种领域预测方面表现出色，尤其在不同种族群体中具有更好的可推广性。研究成果为建立脑功能坐标系统和理解认知神经回路提供了重要的进展。

Sep, 2024