masked modeling | BriefGPT - AI 论文速递

关键词masked modeling

搜索结果 - 9

DMT-JEPA：用于联合嵌入预测结构的判别性掩码目标
我们介绍了一种新的基于 JEPA 的 masked modeling 目标 DMT-JEPA，通过计算特征相似性和使用轻量级交叉注意力头，将语义相似的邻域图像作为目标来生成具有辨别力的潜在目标，从而弥补了 JEPA 在理解局部语义方面的不足
PDFa month ago
ICLR自导向掩蔽自编码器用于领域无关的自我监督学习
Self-guided Masked Autoencoders (SMA) is a fully domain-agnostic masked modeling method for self-supervised learning, ac
PDF4 months ago
基于遮蔽建模的自监督视觉及其它领域的表征学习
近年来，自监督学习因其出色的表示学习能力和对标注数据低依赖性而备受关注。文中综合评述了遮蔽建模框架及其方法学，并详细介绍了遮蔽建模中的技术细节，包括各种遮蔽策略、恢复目标、网络架构等。该框架在计算机视觉、自然语言处理和其他领域表现出了出色的
PDF6 months ago
联合嵌入预测架构的图级表示学习
Graph-JEPA 是首个针对图领域提出的 Joint-Embedding Predictive Architectures (JEPAs) 模型，通过掩码建模学习不同子图的嵌入表示，并且采用预测编码子图在二维平面上单位双曲线上坐标的替代
PDF9 months ago
ICCVCPCM: 弱监督下的点云语义分割的上下文点云建模
通过在三维点云中应用稀疏的标注以降低标注成本，本文提出了一种弱监督点云语义分割的上下文建模方法，包括区域遮罩策略和上下文遮罩训练方法，并在 ScanNet V2 和 S3DIS 基准测试中展示了其优越性。
PDFa year ago
Mx2M: 三维语义分割领域自适应中的跨模态建模
现有的跨模态域自适应方法在三维语义分割中仅通过跨模态特征匹配预测结果的 2D-3D 补充性，然而，在目标领域缺乏监督的情况下，这种补充性并不总是可靠的。我们为解决缺乏监督的问题，将蒙版建模引入该任务，并提出了一种名为 Mx2M 的方法，该方
PDFa year ago
ICML持续学习者是增量模型泛化器
本文的研究重点是探讨 Continual Learning 模型作为预训练器的效果，研究表明，CL 模型可以学习到改进的任务 - 一般特征，在保留丰富任务 - 一般特征的同时，运用 GLobal Attention Discretizati
PDFa year ago
通过生成扩散指导的视角分析多模式目标
通过使用分类器引导的扩散模型生成反映分类器提供的语义信号的图像，我们研究了多模态学习目标的特征，并比较了对比、匹配和字幕损失。我们还引入了一个简单的基线，不仅支持我们的分析，而且以直观的方式改进了生成引导的质量。
PDFa year ago
Point-MA2E: 带遮蔽和仿射变换自编码器用于自监督点云学习
本论文提出了一种基于 Masked 和 Affine 变换的自我监督点云学习模型，通过在输入中添加 Affine 变换和掩模来损坏点云并使用编码器 - 解码器模型重建完整点云，实验证明其在对象分类、小样本学习、鲁棒性测试、部件分割和 3D
PDF2 years ago