Apr, 2024

利用对抗样本进行偏见缓解和准确性增强

PDF
TL;DR利用对抗生成和微调的新方法来减轻计算机视觉模型中的偏见，通过使用欺骗深度神经网络但不欺骗人类的对抗图像作为反事实进行公正模型训练，通过 qualitatively 和 quantitatively 的评估证明了相比于现有方法，我们的方法实现了改进的偏见减轻和准确性。
biasescomputer vision modelscounterfactual generationadversarial imagesbias mitigation
发现论文，激发创造
  • 朝向准确性 - 公正性困境：基于对抗样本的数据增强用于视觉去偏差

    研究机器学习中的公平性问题和图像分类任务中的去偏见问题，通过使用对抗性样本进行训练数据增强来实现模型的准确性和公平性。

    Jul, 2020

  • 使用反事实推论的因果视角评估和缓解图像分类器中的偏差

    该研究提出了一种利用结构原因模型和 ALI 生成对抗学习算法，生成能满足图像属性之间因果关系约束的反事实例，用于解释和评估神经网络模型的偏差，并使用反事实正则化方法消除分类器训练数据中对皮肤和头发颜色等多维属性的偏见。

    Sep, 2020

  • 针对对抗鲁棒和可解释分类器的反事实图像生成

    提出了一个统一框架，利用图像到图像转换生成对抗网络 (GANs) 生成对抗性样本，以增强可解释性，并扩充数据集以提高对抗性鲁棒性。该框架通过将分类器和辨别器结合成一个单一模型，将真实图像归类为相应的类别，并将生成的图像标记为 “伪造”，以实现这一目标。在具体裂缝的语义分割任务中，评估了方法的有效性，并在水果缺陷检测问题上评估了模型对投影梯度下降 (PGD) 攻击的鲁棒性。我们生成的显著性地图具有很高的描述性，尽管仅在分类标签上进行训练，但与传统分割模型相比，其竞争性 IoU 值表现。此外，该模型对抗性攻击的鲁棒性得到了改善，并展示了辨别器的 “伪造” 值作为预测的不确定性度量。

    Oct, 2023

  • 利用反事实图像强化预训练模型

    该论文提出了一种新的框架，通过语言引导生成对抗图片来加强分类模型。通过使用对抗图片数据集来测试模型的弱点，并将对抗图片作为增加的数据集来微调和加固分类模型，研究揭示了使用小规模对抗图片进行微调可以有效增强模型的性能。

    Jun, 2024

  • 使用多目标优化探索反事实解释中的可信度、变化强度和对抗能力之间的权衡

    使用多目标优化模型，通过生成逆因模型生成可信的对抗实例，以提高深度学习模型的透明度，检测偏见和数据不当的形式。

    May, 2022

  • 通过反事实例和梯度监督学习区分重要因素

    使用对照例子作为监督信号，改进深度学习的训练方法，提高神经网络的泛化能力及性能。

    Apr, 2020

  • 对抗性反事实视觉解释

    本文提出了一种由扰动攻击变成语义上的有意义的扰动来进行反事实解释的方法，该方法在扰动攻击时使用去噪扩散概率模型以避免高频率和超出分布的扰动，从而使得研究目标模型不受其鲁棒性水平的限制。通过在多个测试平台上的实验验证，我们的反事实解释方法展现出明显的优势。

    Mar, 2023

  • 混淆下的反事实生成

    在机器学习中，当训练数据受到观测或未观测到的混淆影响时，生成的关系可能会与部署时相差较大。本文提出了一种基于因果生成过程的对抗性生成方法，以最小化生成因素之间的关联性，从而生成有效对抗性数据用于训练图像分类器，即使训练数据受到高度混淆的影响。

    Oct, 2022

  • 逆事实例子是否使对抗性训练变得复杂？

    我们利用扩散模型研究了鲁棒分类器的鲁棒性和性能之间的权衡。我们的方法引入了一个简单的预训练扩散方法来生成低范数的反事实例：语义上改变的数据导致不同的真实类别成员身份。我们报告在干净的训练数据上，鲁棒模型的置信度和准确性与数据与反事实例的接近程度相关。此外，当直接在反事实例上进行评估时，鲁棒模型的性能非常差，因为它们对反事实例通过低范数和语义变化而变得越来越不变。结果表明，非鲁棒和语义特征之间存在显著的重叠，与普遍的非鲁棒特征不可解释的假设相反。

    Apr, 2024

  • 重新思考混淆条件下的反事实数据增强

    本研究提出了利用反事实数据扩充改善机器学习模型中混淆偏差的方法，并探讨了混淆偏差如何影响下游分类器以及基于反事实数据增强的解决方案。另外，我们还介绍了一种生成反事实图片的算法，并在 MNIST 变量和 CelebA 数据集上进行实验，证明了我们的方法的有效性和实用性。

    May, 2023