Dec, 2022

Spuriosity Rankings: 为假相关性的鲁棒性分类数据

PDF
TL;DR提出了一种框架，用于基于存在的虚假线索以及图像排名，评估 ImageNet 模型的错误关联问题，通过对错误排名和正确排名的图像的准确度差距的测量（称为虚假差距），对 89 个 ImageNet 模型进行评估，发现即使是最好的模型在具有虚假线索存在的图像中也表现不佳，并且这种虚假线索的影响在不同的类别之间差异更大。
spurious featuresimage rankingclass-dependencerobustnessfeature reliability
发现论文，激发创造
  • 免费的假设等级：基于目标检测的简单最后一层重新训练框架

    使用开放词汇物体检测技术防止深度神经网络中的虚假特征，通过排序图像并使用最高分数的子集进行最后一层训练，验证了该方法在 ImageNet-1k 数据集上的有效性。

    Oct, 2023

  • Salient ImageNet: 如何发现深度学习中的假特征？

    本文提出了一种通用框架来发现一般模型推断中使用的一些杂项和核心的视觉特征，并在大量图像上对这些视觉特征进行定位，从而对各种著名的 Imagenet 模型进行分析和评估。

    Oct, 2021

  • 通过强韧视觉概念在真实和人工智能生成的图像分类中检测虚假相关性

    我们提出了一种高效侦测潜在假相关的通用方法，相对于现有技术需要更少人工干预，并且在消除像素级注释的同时提供直观的解释。此方法对 AI 生成的图像的特殊性表现出容忍度，而这是一个相当具有挑战性的任务，大多数现有方法在此方面存在不足。因此，我们的方法也适用于检测由生成模型产生的可能会传播到下游应用程序中的假相关。

    Nov, 2023

  • 针对学习鲁棒分类器的伪装感知元学习

    通过元学习训练图像分类器以减少对伪相关性的依赖，以实现对伪相关性的鲁棒性，同时在不知道先验信息的情况下获得了五个基准数据集上最好的鲁棒性。

    Jun, 2024

  • 通过反事实和不变数据生成实现强健的分类模型

    该研究针对机器学习应用中存在的假相关问题，以图像分类为例，提出两种数据生成策略来减少此类问题，并在多个领域的数据集上表现出更好的准确性和更好的解释能力。

    Jun, 2021

  • 细调用于类别层次虚假特征生成的文本到图像扩散模型

    使用大规模文本到图像扩散模型生成虚假特征的方法，通过利用已发现的虚假图像个性化扩散模型，并基于对抗性稳定模型的神经特征提出了一种新的虚假特征相似性损失，实验证明我们的方法能够一致且可视地生成与虚假 ImageNet 参考图像相似的虚假图像。

    Feb, 2024

  • 鲁棒文本分类中的虚假相关性识别

    本文提出了一种区分文本分类器中误导性和真实关联的方法，将其作为监督分类问题，并利用来自治疗效应估计器的特征，通过特征选择的方法进行更加鲁棒的分类。经过在情感分类和毒性检测等四个数据集上的实验，表明这种方法提高了最坏情况下的准确性和更好的分类效果。

    Oct, 2020

  • 机器学习中的虚假相关性：一项调查

    机器学习系统对输入的偏倚特征（例如背景、纹理和次要对象）与相应标签之间的虚假相关性非常敏感。本综述提供了对该问题的全面回顾，以及现有最先进方法的分类体系，用于解决机器学习模型中的虚假相关性。此外，我们总结了现有的数据集、标杆和度量方法，以帮助未来的研究。综述最后讨论了该领域的最新进展和未来的研究挑战，旨在为相关领域的研究人员提供有价值的见解。

    Feb, 2024

  • 自然语言中的所有虚假特征是否相似？通过因果透镜进行分析

    本文区分了 NLP 中的 “虚假相关” 中的两种情况（特征对标签的影响是否取决于上下文），并使用因果模型和必要性和充分性概率对其进行了更细致的处理，说明了现有去偏差方法的结果，并揭示了去偏差后模型表示中虚假特征的编码。

    Oct, 2022

  • 减少野外虚假相关性：基准和更现实的数据集

    本文提出了 SpuCo—— 一个 Python 软件包，用于快速实现当前最先进的对抗模型评估方法，包括两个新的视觉数据集 SpuCoMNIST 和 SpuCoAnimals，这有助于评估和比较各种对抗方法；结果表明现有数据集和评估方案对学习预测特征存在缺陷，为未来试图解决这些问题的研究提供了方向.

    Jun, 2023