AEMIM:对抗样本与遮蔽图像建模相遇
利用图像翻译技术生成无限制的对抗样本,欺骗目标脸部识别系统并通过认证防御,实现了攻击成功率约为90%和80%的结果,同时保持个体的可识别性和感知逼真度。
May, 2019
本文对机器学习模型在视觉领域中面临的对抗性攻击和防御方法进行了广泛探讨,并讨论了不同攻击和防御方法的优点和缺点。旨在提供广泛的领域覆盖和机械进攻和防御机制的直观理解。
Nov, 2019
本文提出了SimMIM框架, 通过探究每一个组件的简单设计方案, 发现简单设计方案表现强劲, 并在ImageNet-1K数据集上, 使用ViT-B预训练和微调达到了83.8%的top-1精度, 并使用此方法促进3B模型(SwinV2-G)的训练, 在四个代表性的视觉基准数据集中实现了最新的技术成果。
Nov, 2021
ADIOS是一种自监督学习的掩蔽图像模型框架,同时学习掩蔽功能和图像编码器,其通过对抗目标来训练。该框架的性能优于现有的自监督学习方法,在各种任务和数据集上均有所改进。
Jan, 2022
本文提出了一种名为MixMAE的方法,可以有效地预先训练不同的分层视觉转换器,并取代掩蔽图像建模(MIM)方法,仍然可以对受损图像进行建模,而不会导致训练速度慢和预处理 - 微调不一致性问题。实验结果表明,使用MixMAE进行预处理可在各种分层Transformer架构上学习高质量的视觉表示。
May, 2022
本研究通过可视化和实验的角度比较了遮蔽图像模型(MIM)和长期优势的监督式预训练模型的关键表现差异,发现MIM可以在所有训练模型的层上引入位置归纳偏差并保持所有层的多样性,从而在较弱语义或细粒度分类任务中表现出色。
May, 2022
本文提出了一种基于蒙版图像建模的框架,即A^2MIM,可用于Transformers和CNNs网络,通过对补丁之间的相互作用的研究发现蒙版图像建模实质上教授了模型更好地处理中阶交互和提取通用特征的能力,并通过大量实验证明了该方法在不需要显式设计的情况下学习到更好的表示,并赋予骨干模型更强的能力,以适应于不同的下游任务。
May, 2022
本论文通过采用稀疏卷积和分层解码器等新技术,将BERT-风格的预训练方法推广到卷积神经网络领域,并且在ResNet和ConvNeXt等模型上进行了验证,在目标检测和实例分割等任务中,优于当前最先进的对比学习和变换器掩模建模方法。
Jan, 2023
本文介绍了一种基于对抗样本的算法,称为AdvDM,用于生成能够保护画家版权的扩散模型(DMs)的对抗样本。研究人员通过基于逆向过程采样的不同潜在变量实现了 Monte-Carlo 估计。大量实验表明,估计得到的对抗样本能够有效地阻止 DMs提取其特征。
Feb, 2023
本研究调查了遮罩图像建模(MIM)这一强大的自监督学习技术在计算机视觉中的最新研究进展。通过对重构和对比学习两种实现MIM的方式进行分类,我们不仅构建了一个全面的分类法,并审查了近年来的重要论文,还识别了研究空白并提出了未来研究的多个方向。
Aug, 2024