Apr, 2024

从非线性多环境数据挖掘不变性：二元分类

PDF
TL;DR在多个训练环境中给出数据的情况下，如何在未知环境中进行预测是一项具有挑战性的任务。我们从不变性的角度来解决这个问题，着重研究二元分类以揭示一般非线性的数据生成机制。我们发现了一种仅存在于二元情况下的独特不变性形式，使我们能够训练在不同环境中都保持不变的模型。我们提供了这种不变性的充分条件，并证明在环境条件变化很大的情况下它是稳健的。我们的建模方法允许有因果解释，使我们能够将其与各种框架进行比较。最后，我们提出了一种基于启发式的预测方法，并使用真实和合成数据集进行了实验。
发现论文，激发创造
  • 学习不充足数据的等变性和不变性归纳偏置

    论文介绍了如何用新的数据效率学习方法，利用自我监督学习与基础性优化理论，实现了从不充足的数据中学习强健的模型

    Jul, 2022

  • 多环境场景下的预测推理

    在多个环境下进行预测的情况中，我们解决了构建有效置信区间和集合的挑战。通过扩展自助法和分割一致性方法，我们研究了适用于这些问题的两种覆盖类型，展示了如何在这些非传统的分层数据生成场景中获得无分布覆盖。我们还在非实数值响应的设置中进行了扩展，并在这些一般问题中建立了一致性理论。我们演示了一种新的调整方法以适应问题的难度，该方法既适用于具有分层数据的预测推断的现有方法，又适用于我们开发的方法；通过神经化学感应和物种分类数据集，我们评估了方法的实际性能。

    Mar, 2024

  • 通过图像变形的不变性获得信心

    本文介绍了一种自动检测预先训练的视觉分类器中分类错误的技术，该技术是对分类器形式不可知的，并且仅需要访问对一组输入的分类器响应。我们使用由来源于同一输入的多个分类器响应生成的表示的参数二元分类器 (错误 / 正确) 进行训练，每个分类器都受不同的自然图像变换的影响。因此，我们通过分析分类器在各种转换下的不变性来建立分类器决策的置信度的度量。在多个数据集（STL-10、CIFAR-100、ImageNet）和分类器的实验中，我们展示了错误检测任务的新的最先进结果。此外，我们将该技术应用于新颖性检测场景，并展示了最先进的结果。

    Apr, 2018

  • 利用回归不变性学习因果结构

    在多环境中研究因果推断，介绍使用变量的功能关系的不变性来推断算法的完整性，提出了基线算法和交替算法，并展示了与其他现有算法相比所提出算法的性能优势。

    May, 2017

  • ZIN: 如何在不进行环境分区的情况下学习不变性？

    本研究提出了一种新框架可以同时学习环境分区和不变的表示，并在合成和真实数据集上进行了实验证明其改进的性能。

    Mar, 2022

  • 朝向上下文感知的领域泛化：用置换不变网络表示环境

    输入 $X$ 的上下文信息可以改善深度学习模型在新领域或生产环境中的预测能力。我们提出了上下文的概念，作为一组数据点的排列不变表示，共同学习于标准监督学习目标，为未知结果提供增量信息。我们通过理论分析和实证评估证明了该方法的有效性，并对其鲁棒性进行了探究。此外，我们还展示了一种选择最具预测性和最具鲁棒性模型的方法，从而避免了预测性能和鲁棒性之间的平衡问题。

    Dec, 2023

  • 减轻二元分类中的非线性算法偏差

    该论文提出使用因果建模来检测和减轻与受保护属性非线性相关的算法偏差。我们使用了 UC Irvine 机器学习库中提供的 German Credit 数据集来开发 (1) 一个被视为黑盒的预测模型和 (2) 用于偏差减轻的因果模型。我们聚焦于年龄偏差和二分分类问题。我们展示了年轻人被正确分类为 “低风险” 的概率最低，随着年龄的增长，这个概率非线性增加。为了将非线性纳入因果模型，我们引入了一个高阶多项式项。基于拟合的因果模型，计算出了被消除偏差的概率估计，显示了改善的公平性，对整体分类准确性影响较小。因果建模直观易懂，其使用可以增强解释性并提升 AI 的不同利益相关者之间的信任。

    Dec, 2023

  • 通过环境增强实现的不变图学习能够学到不变性吗？

    通过环境增强不可能学习到图中的不变表示，所以提出了一种基于可行假设的不变图学习框架 GALA，利用助手模型来识别不变子图从而成功实现 OOD 泛化。

    Oct, 2023

  • 随机线性分类器的概率不变学习

    通过利用随机性设计的随机线性分类器 (RLCs) 类别的二元分类模型，可以在使用较少资源的同时近似任何 (光滑的) 函数并保持对紧凑群转换的不变性。

    Aug, 2023

  • 不变学习环境推理

    EIIL 是一种用于域不变学习的通用框架，采用环境推断技术，可以推断出对下游不变学习最有帮助的分区，实现了较好的性能并且可以改进公平预测问题中的准确性和校准度。

    Oct, 2020