无监督概念发现减轻虚假相关性
本文介绍了一种可解释的框架 Discover and Cure (DISC), 它可以发现和治愈深度神经网络中的假关联现象,通过使用可解释的概念,该框架的使用优于现有方法,通过一个对象识别任务和皮肤病分类任务,表现出显著的泛化性和可解释性。
May, 2023
在此研究中,我们提出了一种自引导的伪相关性缓解框架,它在无需标注伪相关性的情况下,自动构建了适合经验风险最小化得到的分类器的细粒度训练标签,以提高其对伪相关性的鲁棒性。通过在一种新颖的伪相关性嵌入空间中识别分类器的不同预测行为,并结合自动检测的概念属性和一种新颖的伪相关度量来构造细粒度的训练标签,我们证明了训练分类器以区分不同的预测行为可以减少其对伪相关性的依赖,而无需事先知道它们,并且在五个真实世界的数据集上优于先前的方法。
May, 2024
我们使用语言模型为每个文本标记概念并测量模型在测试数据上的概念偏差,然后提出一种数据再平衡方法来减轻由于训练数据中的不平衡标签分布而引起的虚假相关性,并证明我们的缓解方法在处理文本分类数据集中的标签分布偏差时具有优越性。
Nov, 2023
我们提出了一种高效侦测潜在假相关的通用方法,相对于现有技术需要更少人工干预,并且在消除像素级注释的同时提供直观的解释。此方法对 AI 生成的图像的特殊性表现出容忍度,而这是一个相当具有挑战性的任务,大多数现有方法在此方面存在不足。因此,我们的方法也适用于检测由生成模型产生的可能会传播到下游应用程序中的假相关。
Nov, 2023
本文提出了一种机器学习模型稳健性的框架,通过人类关于因果关系的常识知识来解决模型在训练和测试过程中的不一致性问题。透过在每个训练数据中加入人类标注的潜在未测变量,将问题转化为协变量转移问题,并引入分布稳健优化目标来控制测试时偏移的最坏情况损失,实验结果表明,在具有旋转混淆的数字识别任务和分析 NYPD 警务巡逻地点混杂的任务中能获得 5-10% 和 1.5-5% 的性能提升。
Jul, 2020
通过学习两个特征子空间,分别表示没有上下文环境的类别和同时表示类别和上下文环境的联合特征子空间,以减少上下文偏差,提高分类准确度,适用于目标和属性两项任务。
Jan, 2020
神经网络中的概念相关性对于网络的超出分布泛化有不利影响,为了解决这个问题,作者提出了一种迭代算法,通过联合识别神经网络表示中的两个低维正交子空间来分离与主要任务无关的概念,该算法在计算机视觉和自然语言处理的基准数据集上表现优于现有的概念去除方法。
Oct, 2023
该论文提出了一种简单且有效的无监督去偏差技术,该方法利用聚类算法在特征嵌入空间识别伪属性,然后采用一种新颖的聚类加权重新调整方案来学习去偏置表示,以防止少数群体被忽视并达到最坏情况下的概括,实验证明其在多个标准基准测试数据集上具有出色的表现,甚至达到了有监督对照组的竞争精度。
Aug, 2021