CVPRMar, 2023

掩蔽图像是稳健微调的反事实样本

PDF
TL;DR本文提出了一种新的 fine-tuning 方法，使用掩码图像作为反事实样本来帮助提高 fine-tuning 模型的鲁棒性，该方法通过分类激活图掩盖语义相关或语义不相关的图像补丁，然后用其他图像中的补丁填充掩盖的补丁，取得了在鲁棒性方面更好的平衡。
deep learning modelstraining datatest datapre-trained modelsout-of-distribution robustness
发现论文，激发创造
  • 利用反事实图像强化预训练模型

    该论文提出了一种新的框架，通过语言引导生成对抗图片来加强分类模型。通过使用对抗图片数据集来测试模型的弱点，并将对抗图片作为增加的数据集来微调和加固分类模型，研究揭示了使用小规模对抗图片进行微调可以有效增强模型的性能。

    Jun, 2024

  • 迈向经过校准的鲁棒视觉语言模型微调

    就细调技术在预训练模型的潜力释放和模型在分布偏移中的鲁棒性之间存在权衡关系，研究提出了一种校准鲁棒微调（CaRot）方法，以在内部数据和外部数据集上提高预训练视觉 - 语言模型（VLMs）的校准性和鲁棒性。验证结果证明了该方法的有效性。

    Nov, 2023

  • MOODv2：面罩图像建模用于超出分布检测

    主要研究了有效的离域检测的关键是获取一个稳健的域内表示，与离域样本有所区别；通过对不同的预训练任务和离域得分函数进行全面分析，发现通过重构预训练的特征表示显著增强了性能，并缩小了各个得分函数之间的性能差距。

    Jan, 2024

  • 重新思考外域（OOD）检测：掩模图像建模就是您所需的一切

    本文提出利用基于重建的先验任务构建的模型，用于检测 OOD，并通过 Masked Image Modeling 预训练，取得了比先前 SOTA 更好的表现，包括单类 OOD 检测高出 5.7％，多类 OOD 检测高出 3.0％，近分布 OOD 检测高出 2.1％。

    Feb, 2023

  • 利用对抗样本进行偏见缓解和准确性增强

    利用对抗生成和微调的新方法来减轻计算机视觉模型中的偏见，通过使用欺骗深度神经网络但不欺骗人类的对抗图像作为反事实进行公正模型训练，通过 qualitatively 和 quantitatively 的评估证明了相比于现有方法，我们的方法实现了改进的偏见减轻和准确性。

    Apr, 2024

  • 释放掩码：探索内在的外部分布检测能力

    本文提出了一种新的方法 ——Unleashing Mask，该方法使用掩模找出受记忆的非典型样本，并通过微调或修剪模型来忘记它们，从而恢复所训练模型的 OOD 鉴别能力。

    Jun, 2023

  • 计算机视觉模型中背景偏差去除的遮盖策略

    我们的研究调查了背景引起的偏见对细粒度图像分类的影响，并评估了卷积神经网络和视觉变换器等标准骨干模型在不同遮罩策略下的行为，得出早期遮罩在 ODD 性能方面表现最佳的结论。

    Aug, 2023

  • 最大化利用少量反事实增强情感分类鲁棒性

    针对文本分类任务中的模型过度依赖模式数据的问题，本文提出了一种新的解决方案，使用编码向量空间的自动生成机制减少新数据生成的人工成本，只需对原始训练数据的一小部分（例如 1％）进行注释即可获得明显的准确性改进。实验证明，该方法对情感分类有效，并在使用 IMDb 数据进行训练和 Amazon、SemEval 和 Yelp 等其他数据集进行 OOD 测试时，仅添加 1％手动反事实数据即可获得 + 3％的准确性提升，相比于添加 100％的训练样本和其他反事实方法比较，准确性提高了 1.3％。

    Oct, 2022

  • MASKER：面向可靠文本分类的关键词遮盖正则化

    本文提出一种名为 MASKER 的 fine-tuning 方法，该方法通过关键词正则化来实现基于上下文的预测，提高了预训练语言模型在 OOD 检测和跨域泛化方面的性能。

    Dec, 2020

  • 遮蔽图像建模的统一视角

    本文提出了一种统一的视角，针对现有方法进行了修订，并引入了一种名为 MaskDistill 的简单而有效的方法，通过对受损输入图像的屏蔽位置的主题模型重新构建归一化语义特征，以解决大规模训练视觉转换器中需要大量标记的问题，实验结果表明，MaskDistill 在图像分类和语义分割方面的表现优于现有技术。

    Oct, 2022