Apr, 2023

针对样本特定的去偏方法以获得更优秀的图文模型

PDF
TL;DR本文介绍了一种基于样本特定偏差校正的自监督学习方法，用于改善不均匀假负面样本导致的图像文本数据的质量问题。经过实验证明，此方法在包括医学应用在内的多种数据集上都取得了比传统方法更好的效果。
self-supervised learningimage-text datamedical applicationsfalse negativesdebiased contrastive learning
发现论文，激发创造
  • 无偏置对比学习

    提出了一种能够在缺少真实标签情况下，通过对不同标签数据进行负采样，纠正样本中同标签数据的影响的去偏置对比损失函数，实验证明该函数在视觉、语言和强化学习领域的表示学习中均优于现有的方法，并建立了下游分类任务的泛化界限。

    Jul, 2020

  • 通过解缠分特征增强学习无偏表示

    本研究提出了一种基于特征级数据增广技术的去偏方法，通过使培训数据多样化，可以更有效地消除图像分类模型中偏见的影响。

    Jul, 2021

  • 无偏监督对比学习

    本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。

    Nov, 2022

  • 使用有偏表示学习没有偏见的表示

    本文介绍了一种用于训练去偏置表示的新框架，通过鼓励其与一组从设计上存在偏差的表示不同来实现。该方法可在许多场景中使用，可以提高模型在不同类别中的泛化能力。

    Oct, 2019

  • 利用文本 - 图像对比模型的能力自动检测在线谣言

    本研究旨在探究对抗学习在虚假信息识别中的应用。通过开发自学模型并在 COSMOS 数据集上进行全面实验，我们发现采用对抗学习能够大幅减少训练数据，同时在数据量不足时显示出优于传统分类器的非匹配图像 - 文本对检测性能提高约 10% 的稳定性和可比性。

    Apr, 2023

  • 利用文档级结构信息进行图像 - 句子匹配的无监督采样方法

    本文提出了一种基于 Transformer 模型的采样策略，用于减轻采样偏差以及识别文档内部的复杂模式，并实验验证了模型的有效性，从而实现了无监督图像 - 句子匹配。

    Mar, 2021

  • 特征层面的无偏自然语言理解

    本文提出了一种名为 Debiasing Contrastive Learning (DCT) 的 NLU 去偏置方法，该方法通过对比学习，同时缓解了编码偏置潜在特征和偏置影响的动态性，使用正向采样和动态负向抽样策略选取了最小相似度的偏态样本和动态选择最相似的负向偏态样本，实验表明，DCT 在保持分布内性能的同时，优于最先进的基线算法，在分布之外的数据集上表现出色，并减少了模型表示中的偏置潜在特征。

    Dec, 2022

  • 基于混合样本合成的有限数据情况下分类器去偏

    本文研究了深度学习模型中的偏见问题，针对没有关于偏见的先验知识的实际场景，提出了一种新方法，通过合成混合样本来减轻偏见对模型的影响，实验证明我们的方法在有限数据情况下能够有效解决未知偏见问题。

    Dec, 2023

  • 强调打压偏见在去偏见中的重要性

    本研究针对图像分类中的数据集偏差问题，提出了一种基于偏差模型 $f_B$ 的数据样本选择方法来增强偏差，有效提高了 $f_D$ 的训练效果。该方法适用于现有的基于重新加权的去偏差技术，并在合成和真实数据集上实现了最先进的性能。

    May, 2022

  • SelecMix: 通过对立对采样进行偏差学习

    提出一种新的数据增广方法 SelecMix，旨在解决神经网络训练中数据偏差带来的问题，并在标准基准测试中证明了其有效性，尤其是在标签噪声情况下。

    Nov, 2022