Jan, 2022

通过因果视角对虚假相关性降低信息论偏差

PDF
TL;DR通过因果关系解释的虚假相关的条件互信息，我们提出了一种信息熵偏差测量技术，可以有效地识别基于特征的算法偏差，并设计了一种新颖的基于偏差正则化损失的去偏差框架和一种基于随机标签噪声的简单而有效的非监督去偏差技术。
algorithmic biasinformation theorydebiasingconditional mutual informationstochastic label noise
发现论文，激发创造
  • 基于信息论的公平感知特征选择度量

    本篇文章提出了一种基于信息论度量和 Shapley 值函数的公平特征选择框架，以考虑特征与决策结果之间的相关性，量化了不同特征对决策结果准确性与公平性的影响，最终设计了一个特征的公平效用分数，对真实和合成数据进行了性能评估。

    Jun, 2021

  • 用因果分析消除基于概念的解释偏见

    本文提出新的因果性先验图和用于消除混淆信息和噪声的两阶段回归技术，以解决模型可解释性工具中的潜在变量和概念完备性等问题，并在合成和真实数据集上进行了实验证明了该方法的成功。

    Jul, 2020

  • 监督学习中的公正性：信息论方法

    研究提出了一个信息理论框架来设计公平的预测器，以在监督学习环境中防止对指定敏感属性的歧视。使用平等的机会作为歧视标准，这要求在实际标签的条件下，预测应独立于受保护属性。同时确保公平和泛化，将数据压缩到辅助变量，再通过贝叶斯决策规则得到最终预测器。

    Jan, 2018

  • 神经网络消除属性特定偏差的信息理论界限

    通过数学和实证研究，揭示了属性偏见消除方法在存在强偏见时的一个重要限制，并验证了这一理论界限在实践中的影响。发现现有的属性偏见消除方法仅在数据集中固有偏见相对较弱时有效，因此警告不要在较小的数据集中使用这些方法，同时主张需要克服这一局限性的方法。

    Oct, 2023

  • 因果推断中的测量偏差

    本文讨论了消除测量误差导致的系统偏差的多种代数和图形方法，并关注于控制参数化和非参数化模型中的部分可观测混杂因素，以及在此类模型中获得无偏效应估计的计算问题。

    Mar, 2012

  • 半监督学习中的信息论方法在协变量偏移下的应用

    该研究提出了一种用于半监督学习在数据集分布改变的情景下的新方法，基于信息理论，该方法包括了当前流行的熵最小化和伪标签方法，提出了一些新的上界描述其泛化误差情况，其在数据集分布改变的情景下胜过之前提出的方法。

    Feb, 2022

  • 基于实例的因果特征选择用于模型解释

    本文提出一个解释黑盒视觉分类器的因果推断扩展，即在实例特征选取的基础上选择对模型输出具有最大因果效应的特征子集，并使用相对熵距离量化这些特征子集的因果影响，该方法运用于多个视觉数据集中并证明了其高效性。

    Apr, 2021

  • 使用部分信息分解量化偏倚数据的虚假性

    本文首次提出使用部分信息分解 (PID) 数学框架对数据集中的伪关联进行信息论的形式化定义，并通过计算独特信息来量化数据集的伪关联，研究了伪关联对模型的影响以及针对伪关联的数据处理技术的效果。

    Jun, 2024

  • 测量因果控制的因果熵和信息增益

    该篇论文提出了蕴含系统因果结构的信息论量，用于评估给定的目标变量的因果重要性，并展示了因果信息增益在特征选择中的优越性，从而为涉及因果关系的领域的可解释性方法的发展铺平了道路。

    Sep, 2023

  • 利用信息理论量化特征对总体差异的贡献

    研究发现，对于机器学习算法存在偏见的情况，使用局部信息分解技术可以帮助我们从信息论的角度去 quantify 每一项特征对于已观察到的不平等问题的潜在贡献较好地解释偏见的来源。

    Jun, 2022