masked image modeling | BriefGPT

关键词masked image modeling

搜索结果 - 70

预训练与随机正交投影图像建模
使用随机正交投影而非二元屏蔽的图像建模框架 Random Orthogonal Projection Image Modeling（ROPIM）能够实现在局部变化的屏蔽程度下屏蔽整个空间图像区域，并展现了与基于裁剪屏蔽的方法相比具有更优越的
PDF8 months ago
更长范围上下文化的遮蔽自编码器
我们提出了一种自我监督学习框架，称为 “长程上下文化蒙版自编码器（LC-MAE）”，该方法能够有效地利用全局上下文理解视觉表示，同时减少输入的空间冗余。通过从多个视角学习完整像素和稀疏像素的本地表示，LC-MAE 能够学习到更具有区分性的表
PDF8 months ago
简洁高性能的纯视觉变换语义分割
通过对简单的 Vision Transformer（ViT）模型进行高性能的分割实验，本文提出了 PlainSeg 和 PlainSeg-Hier 两种简洁高效的模型，包括了最后一个特征图的 3x3 卷积和 Transformer 编码器或
PDF8 months ago
自主训练的掩蔽关注引导的掩蔽图像建模与噪音约束教师 (SMART) 用于医学图像分析
Hierarchical shifted window transformers (Swin) were architecturally enhanced with semantic class attention for self-sup
PDF9 months ago
自监督学习中的信息流
本文通过矩阵信息理论的视角提供了一个全面的工具箱，用于理解和增强自监督学习方法，其中包括对比方法、特征去相关方法的统一分析，并提出了基于矩阵信息理论的矩阵变分掩膜自编码器 (M-MAE) 方法作为对掩膜图像建模的一种增强方法。经验证实，M-
PDF9 months ago
图像掩蔽残差学习用于深度视觉 Transformer 的扩展
深度 ViT 在使用 MIM 进行预训练时暴露出深层退化问题，为了缓解深度 ViT 的训练困难，我们引入了一种自监督学习框架 MIRL，该框架显著缓解了退化问题，使得 ViT 的深度扩展成为性能提升的有希望的方向。
PDF9 months ago
SCD-Net: 自监督骨架动作识别的时空线索分解网络
该研究采用一种名为 SCD-Net 的新型对比学习框架，通过引入解耦模块以及融合空间和时间领域的特征提取器，从而更好地编码骨架序列，提取明确的线索。通过结构约束改进的掩蔽策略增强背景关联，将掩蔽图像建模的最新发展应用于 SCD-Net，实验
PDF10 months ago
RevColV2：探索掩蔽图像建模中的脱离关系表征
RevColV2 是一种新的架构，通过在预训练和微调过程中保留整个自编码器架构来解决预训练和微调之间表示不一致的问题，并在多个下游视觉任务中实现具有竞争力的性能。
PDF10 months ago
CL-MAE：课程学习掩码自编码器
我们提出了一种基于课程学习的掩模自编码器（CL-MAE），通过不断增加自监督重建任务的复杂性，逐渐提高模型学习更复杂和可转移的表示能力，并使用 Curriculum-Learned Masked Autoencoder (CL-MAE) 在
PDF10 months ago
SRMAE：用于尺度不变深度表示的遮蔽图像建模
基于图像尺度的自监督信号，使用超分辨率方法设计的预测头部能够重建输入图像，提高图像识别任务的准确率并捕捉尺度不变表达。
PDFa year ago
ICCVDETR 不需要多尺度或局部设计
本论文介绍了一种改进的 DETR 检测器，它采用了 “简洁” 的设计，使用单尺度特征图和全局交叉注意力计算，并没有特定的局部约束，与之前基于 DETR 的主要检测器相比，没有重新引入多尺度和局部性的架构偏好。我们展示了两种简单的技术在简洁设
PDFa year ago
ICCV通过减少模型能力浪费来改进基于像素的 MIM
本文通过一系列实证研究确认了基于像素的遮罩图像建模存在的限制，并提出一种利用来自浅层的低级特征辅助像素重建的新方法。将该设计纳入基本方法 MAE 中，我们减少了基于像素的遮罩图像建模的建模能力浪费，提高了其收敛性并在多个下游任务中取得了实质
PDFa year ago
在随机位置预测遮蔽标记以改进遮蔽图像建模
提出了一种灵活的随机模型（FlexPredict），通过将位置不确定性纳入模型，提高下游性能。
PDFa year ago
使用遮罩图像建模学习细胞核表示
本文介绍了一种称为 Masked Image Modeling 的自监督学习范例在医学图像分析中的潜在应用能力，并使用 Bidirectional Encoder Representation from Image Transformers
PDFa year ago
混合蒸馏：将掩模自编码器与对比学习器连接
本文探讨如何通过 Hybrid Distillation 策略，结合 Contrastive Learning 和 Masked Image Modeling 的优势，同时满足特征的判别性和多样性，并通过对比实验证明 Hybrid Dist
PDFa year ago
视觉 Transformer 预训练中遮蔽和置换视觉令牌的学习
本研究提出了一种名为 MaPeT 的新型自监督预训练方法，旨在提高基于视觉任务的性能并解决输入噪声和不一致性问题，实验结果表明其在 ImageNet 数据集上具有与竞争对手相媲美的性能。
PDFa year ago
基于自监督学习框架和遮挡图像建模的新型驾驶员分神行为检测
本文介绍了一种基于自监督学习的用于驾驶员分心检测的新方法，该方法使用遮罩图像建模进行自监督学习，并利用 Swin Transformer 作为编码器以增强性能，最终使用各种数据增广策略加上最佳的随机遮罩策略来加强模型的识别和泛化能力，测试结
PDFa year ago
探究遮罩图像建模中的数据缩放
本文旨在通过在使用 Coyo-700M 数据集进行实验，探究遮蔽图像建模 (MIM) 方法在不同大小和模型的情况下，进行下游任务的表现变化，并发现了 MIM 在训练数据规模较小时提高模型容量的效果、强重构目标能增加模型在下游任务中的容量，以
PDFa year ago
ICLR自我监督视觉变换器学习了什么？
对比学习和掩模图像建模的比较研究，发现自监督视觉变换器（ViTs）在表示和下游任务性能方面具有不同的属性，可以互补，最简单的协调方法可以帮助利用这些方法的优点。
PDFa year ago
Img2Vec: Token-Diversity 高的教师帮助掩蔽自编码器
本文提出了一种名为 Img2Vec 的管道，用于深层特征下的掩码图像建模。该框架效果优异，表现出卓越的性能，可在视觉任务中实现优异的综合性能。
PDFa year ago