ICCVAug, 2023

计算机视觉模型中背景偏差去除的遮盖策略

PDF
TL;DR我们的研究调查了背景引起的偏见对细粒度图像分类的影响，并评估了卷积神经网络和视觉变换器等标准骨干模型在不同遮罩策略下的行为，得出早期遮罩在 ODD 性能方面表现最佳的结论。
fine-grained image classificationbackground-induced biasmasking strategiesconvolutional neural networkvision transformers
发现论文，激发创造
  • 掩蔽图像是稳健微调的反事实样本

    本文提出了一种新的 fine-tuning 方法，使用掩码图像作为反事实样本来帮助提高 fine-tuning 模型的鲁棒性，该方法通过分类激活图掩盖语义相关或语义不相关的图像补丁，然后用其他图像中的补丁填充掩盖的补丁，取得了在鲁棒性方面更好的平衡。

    Mar, 2023

  • 基于卷积神经网络的更好输入掩模设计

    为了使卷积神经网络更易于解释，我们提出了一种被称为层遮蔽的遮蔽技术，可以模拟仅对未遮蔽的输入运行 CNN 的效果，并发现该方法能够消除 CNN 与变压器之间的可解释性差距，甚至在许多情况下使 CNN 更易于解释。

    Nov, 2022

  • 优化视觉 Transformer 的相关性地图以提高鲁棒性

    本论文提出一种监测模型关联信号并在细调阶段对模型进行操作使其聚焦于前景物体的方法，实验结果表明在 ViT 模型上应用该方法可以显著提高模型在领域变化方面的鲁棒性，同时无需附加监督信号。

    Jun, 2022

  • 通过掩码微调来弥合标记剪枝和完全预训练之间的差距

    采用蒙版微调为动态视觉转换器的静态预训练基础模型提供更好的初始化，以提高准确性并增强其对遮挡的鲁棒性和对信息丢失的抵抗能力。

    Oct, 2023

  • 分析和减轻弱势群体偏见：迈向数据集的平衡代表性

    通过对脆弱道路用户的分类不平衡、性能评估和偏见影响评估进行研究，我们提出了一种模型优化和偏见缓解的方法，包括数据增强、重采样和度量特定学习，以改善自动驾驶中感知系统的准确性和公正性。

    Jan, 2024

  • 掩蔽以改进卷积神经网络的对比式自监督学习，并揭示显著性

    通过在卷积神经网络中引入掩蔽操作作为额外的数据增强方法，并显式考虑显著性约束，本研究提出了一种改进的对比学习框架，以减轻包括掩蔽操作在内的对比学习中存在的问题，并在多个数据集、对比学习机制和下游任务上进行的广泛实验验证了其有效性和卓越性能。

    Sep, 2023

  • CNN 还是 ViT？透过卷积再探视觉 Transformer

    本研究提出了一种新颖的高斯混合蒙版（GMM）方法，在没有预训练的情况下通过改进局部建模的方式来提升 Vision Transformer（ViT）在小数据集上的性能，实验证明该方法对于提升 ViT 的效果显著，几乎不增加额外参数或计算成本。

    Sep, 2023

  • 探究视觉 Transformer 在分布偏移下的泛化能力

    本文系统研究了 Vision Transformers 在分布偏移情况下的泛化问题，发现其在背景和纹理上学习的偏差较弱，而对形状和结构的归纳偏差较强，因此在分布偏移情况下，相对于卷积神经网络，具有更好的泛化性能，且使用相同数量的参数，其在大多数类型的分布偏移下，比相应的 CNN 模型高出 5% 以上的准确度。此外，作者还进一步提出了增强泛化性能的 GE-ViTs，其对超参数的敏感度高于相应的 CNN 模型，因此设计了更平滑的学习策略以优化 GE-ViTs 的性能。

    Jun, 2021

  • 探讨视觉变换器在医学图像分类中对标签噪声的稳健性

    医学图像分类数据集中的标签噪声严重影响了受监督深度学习方法的训练，削弱了其泛化能力。本文研究了 Vision Transformer (ViT) 相对于 CNN 的鲁棒性，以及其处理医学图像分类中标签噪声的能力，并使用两个医学图像分类数据集进行了实验验证。

    Feb, 2024

  • 掩码扩散模型学习速度快

    我们提出了一种基于先验的去噪训练框架，并将先训练和微调范式纳入扩散模型的训练过程，从而显着提高了训练效率和生成的图像质量。

    Jun, 2023