测量因果控制的因果熵和信息增益

Sep, 2023

测量因果控制的因果熵和信息增益

Causal Entropy and Information Gain for Measuring Causal Control

Francisco Nunes Ferreira Quialheiro Simoes, Mehdi Dastani, Thijs van Ommen

TL;DR该篇论文提出了蕴含系统因果结构的信息论量，用于评估给定的目标变量的因果重要性，并展示了因果信息增益在特征选择中的优越性，从而为涉及因果关系的领域的可解释性方法的发展铺平了道路。

Abstract

Artificial intelligence models and methods commonly lack causal interpretability. Despite the advancements in interpretable machine learning (IML) methods, they frequently assign importance to features which lack causal influence on the outcome variable. Selecting causally relevant fea

interpretable machine learning causal interpretability feature selection methods causal entropy causal information gain

发现论文，激发创造

因果熵和信息增益的基本属性

通过引入编码在干预一个变量时另一个变量熵的变化的量，最近的研究实现了给定结构因果模型（SCM）的因果控制的量化。我们的研究通过建立和分析这些概念的基本性质，包括界限和链规则，对因果熵和因果信息增益的概念的形式理解做出了贡献。此外，我们阐明了因果熵与随机干预之间的关系，并提出了因果条件熵和因果条件信息增益的定义。总体而言，这种探索为通过研究最近提出的在因果性考虑方面扎根的信息论量来增强因果机器学习任务铺平了道路。

Feb, 2024

基于实例的因果特征选择用于模型解释

本文提出一个解释黑盒视觉分类器的因果推断扩展，即在实例特征选取的基础上选择对模型输出具有最大因果效应的特征子集，并使用相对熵距离量化这些特征子集的因果影响，该方法运用于多个视觉数据集中并证明了其高效性。

Apr, 2021

通过传输熵进行因果特征选择

我们提出了一种新颖的方法，结合了特征选择和因果发现，专注于时间序列，通过使用前向和后向特征选择程序，并利用传递熵来估计从特征到目标的因果信息流，实现了特征的选择不仅仅基于模型性能，还捕捉到因果信息流。

Oct, 2023

量化因果影响

本文提出了一组自然、直观的因果强度度量法，并通过时间序列的模拟实验证实了我们提出的度量法的有效性。

Mar, 2012

通过因果视角对虚假相关性降低信息论偏差

通过因果关系解释的虚假相关的条件互信息，我们提出了一种信息熵偏差测量技术，可以有效地识别基于特征的算法偏差，并设计了一种新颖的基于偏差正则化损失的去偏差框架和一种基于随机标签噪声的简单而有效的非监督去偏差技术。

Jan, 2022

深度神经网络模型中的熵和互信息

本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

May, 2018

信息论统一微观机器学习、不确定性量化和材料热力学

提出了一个信息论框架，将原子尺度模拟、机器学习和统计力学结合起来，通过建立相图、识别稀有事件、对数据集进行优化、以及进行模型无关的不确定性量化，统一描述了原子尺度建模中的信息相关问题。

Apr, 2024

利用机器学习进行信息分解，识别复杂系统中的相关变化

通过信息熵，我们提出了一种实用的方法来解压数据中的重要变化，以研究复杂系统。

Jul, 2023

公平因果特征选择

提出了一种公平的因果特征选择算法，使用类特定的互信息评估每个类属性状态所包含的因果信息，以公正地确定每个类状态的因果特征。

Jun, 2023

决策树归纳的信息增益估计改进

本研究探讨了常见的决策树信息增益估算方法的偏差问题，并通过改进离散熵和微分熵的估算方法，提高了分类和回归预测性能。

Jun, 2012