masked image modeling | BriefGPT

关键词masked image modeling

搜索结果 - 70

FreMAE: 傅里叶变换融合掩模自编码器用于医疗图像分割
本文提出了一种基于 MIM 的自监督预训练框架，使用傅里叶变换来整合全局和局部信息，进一步加入多阶段监督以指导预训练阶段的表示学习并在医学图像分割任务中获得了比之前最先进的 MIM 方法更好的性能。
PDFa year ago
对比调节：帮助遗忘掩码自编码器
本研究提出了一种名为 MAE-CT 的序列方法，旨在将最近邻对比学习应用于经过预训练的 MAE 中，以将丰富的特征组成对象语义簇，而无需使用任何标签，并应用于使用大型 Vision Transformer 模型。MAE-CT 在线性探测、k
PDFa year ago
CVPR掩膜图像建模的硬贴片挖掘
本文提出了一个基于 Hard Patches Mining (HPM) 的框架，用于 Masked Image Modeling (MIM) 的预训练，采用相对关系学习策略，通过预测损失值来决定下一步的掩码。实验证明仅引入损失预测目标就能产
PDFa year ago
有监督的遮蔽知识蒸馏用于小样本变压器
本文提出了一种新的有监督掩蔽知识蒸馏模型 (SMKD)，将标签信息融入到自我蒸馏框架中，通过在类和图块标记上进行内部类知识蒸馏，并引入在类内图像中对屏蔽图块标记重构的挑战性任务，我们比以前的自我监督方法实现了更好的结果，实验结果显示，我们的
PDFa year ago
通过 MAE + 对视觉变换器进行预训练的对抗位置嵌入
本文提出了一种基于 Adversarial Positional Embedding (AdPE) 方法的无监督学习方式，旨在完善预测任务以避免学习仅适用于下游任务的低级特征，实验结果表明，该方法准确性能优于传统无监督学习以及不使用额外模型
PDFa year ago
CVPR局部多尺度重建的遮盖图像建模
本文提出了一种 Masked Image Modeling（MIM）的改进方案，通过在多个不同尺度的层次上进行重构任务，显式地指导多个层次的编码器，在减小预训练负担的同时，在分类、检测和分割任务中取得可比或更好的性能。
PDFa year ago
AAAICoMAE：基于单模型的小规模 RGB-D 数据混合预训练
本文提出了一种名为 CoMAE 的单模型自监督混合预训练框架，通过交叉模态对比学习和遮蔽图像建模，采用课程学习策略来统一两种流行的自监督表示学习算法，并设计了一个修补程序级别对齐任务来预训练一种单一的编码器，共享两个模态。CoMAE 在 S
PDFa year ago
CVPR重新思考外域（OOD）检测：掩模图像建模就是您所需的一切
本文提出利用基于重建的先验任务构建的模型，用于检测 OOD，并通过 Masked Image Modeling 预训练，取得了比先前 SOTA 更好的表现，包括单类 OOD 检测高出 5.7％，多类 OOD 检测高出 3.0％，近分布 OO
PDFa year ago
预训练的 Transformer 金字塔网络
本研究提出了一种基于屏蔽图像建模的完整预训练框架，统一复现与识别阶段，并通过深入的技术贡献，在图片分类、物体检测和语义分割方面实现了新的最佳结果。
PDF2 years ago
i-MAE：掩蔽自编码器中的潜在表示是否线性可分？
本文介绍了一种名为 i-MAE 的简单而有效的可解释 MAE (Interpretable MAE) 框架，通过在 CIFAR-10/100，Tiny-ImageNet 和 ImageNet-1K 数据集上进行广泛实验，证明其是解释 MAE
PDF2 years ago
MixMask：重访 Siamese ConvNets 的遮蔽策略
本研究结合 Masked Image Modeling (MIM) 和 Siamese Networks 的自我监督学习方法，通过 MixMask 构建填充式遮蔽策略，创新性地提出了一种新的 MIM 和 Siamese ConvNets 混
PDF2 years ago
遮蔽图像建模的统一视角
本文提出了一种统一的视角，针对现有方法进行了修订，并引入了一种名为 MaskDistill 的简单而有效的方法，通过对受损输入图像的屏蔽位置的主题模型重新构建归一化语义特征，以解决大规模训练视觉转换器中需要大量标记的问题，实验结果表明，Ma
PDF2 years ago
MimCo: 带对比教师的遮蔽图像建模预训练
本文提出了一种名为 MimCo 的新型、灵活的预训练框架，通过两阶段的预训练，将 MIM 和对比学习相结合，提高了 MIM 预训练表示的线性可分性，取得了优越的性能。
PDF2 years ago
用向量量化视觉令牌器进行遮蔽图像建模的 BEiT v2
本文提出使用语义丰富的视觉分词器作为蒙版预测的重构目标，以将蒙版图像建模从像素级别推广到语义级别，包括矢量量化知识蒸馏、预训练 Vision Transformers 和图像聚合策略等，实现了对图像分类和语义分割的超过现有 MIM 方法的表
PDF2 years ago
MM自监督文本识别的判别性和生成性建模：阅读与写作
本文提出一种基于对比学习和遮挡图像建模的自监督文本识别方法，实验结果显示，该方法在不规则场景文本识别数据集上优于之前的自监督文本识别方法 10.2％-20.2％，同时，在 11 个基准测试中，该文本识别器的表现也超过了之前的最新方法平均 5
PDF2 years ago
自监督视觉表示学习的孪生图像建模
该研究提出了一种新的自监督学习方法 Siamese Image Modeling，它通过预测同一图像的不同视图的表示来达到语义对齐和空间敏感的目的，这种方法在 ImageNet 微调和线性探测、COCO 和 LVIS 检测以及 ADE20k
PDF2 years ago
HiViT: 分层视觉 Transformer 遇见掩蔽图像建模
本文提出了一种名为 HiViT 的分层视觉转换器的设计，该设计在 MIM 中具有高效性和良好的性能，通过关闭 Swim Transformer 的局部对单元操作并显示层次结构，将蒙版单元序列化为普通视觉变换器，经实证研究表明，在 Image
PDF2 years ago
特征蒸馏 Fine-tuning 中，对比学习与图像遮盖模型不相上下
研究发现通过简单的特征蒸馏，可以极大地提高预训练方法的微调性能，使其与基于遮挡图像模型的方法一样强大，在从事未来研究时，可以更加注重学习表示的普适性和可扩展性，而不需要过分关注其优化的友好性。
PDF2 years ago
架构无关的遮蔽图像建模 -- 从 ViT 回到 CNN
本文提出了一种基于蒙版图像建模的框架，即 A^2MIM，可用于 Transformers 和 CNNs 网络，通过对补丁之间的相互作用的研究发现蒙版图像建模实质上教授了模型更好地处理中阶交互和提取通用特征的能力，并通过大量实验证明了该方法在
PDF2 years ago
面向带遮挡图像建模的绿色分层视觉 Transformer
本文介绍了一种高效的逐层视觉变换（ViT）的 Masked Image Modeling（MIM）方法，通过一些关键的设计，使得 MIM 可以在可见的 patch 上进行可控的 self-attention，并通过 Sparse Convo
PDF2 years ago