joint-embedding predictive architecture | BriefGPT

关键词joint-embedding predictive architecture

搜索结果 - 4

T-JEPA：轨迹相似度计算的联合嵌入预测架构
本文介绍了 T-JEPA，一种利用 Joint-Embedding Predictive Architecture（JEPA）进行自监督轨迹相似性计算的方法，通过在表示空间中对轨迹信息进行采样和预测，使模型能够推断轨迹的高级语义缺失部分，无
PDF23 days ago
DMT-JEPA：用于联合嵌入预测结构的判别性掩码目标
我们介绍了一种新的基于 JEPA 的 masked modeling 目标 DMT-JEPA，通过计算特征相似性和使用轻量级交叉注意力头，将语义相似的邻域图像作为目标来生成具有辨别力的潜在目标，从而弥补了 JEPA 在理解局部语义方面的不足
PDFa month ago
JEP-KD：基于联合嵌入预测架构的知识蒸馏用于视觉语音识别
此研究介绍了一种先进的知识蒸馏方法，使用联合嵌入预测架构（JEPA），命名为 JEP-KD，旨在更有效地利用音频特征进行模型训练，以缓解视觉语音识别（VSR）任务的挑战，并展示了其在不同 VSR 平台上显著改善模型性能的潜力。
PDF4 months ago
学习和利用世界模型在视觉表示学习中
通过预测缺失部分的输入，我们提出了 Image World Models 这一方法，它不仅限于掩蔽图像建模，而且能够学习预测潜在空间中全局光度变换的效果。同时，我们展示了通过微调适应 IWM 的预测世界模型，以解决多样化任务的能力，并说明了
PDF4 months ago