Sep, 2017

基于 MDL 的局部和全局回归区分因果关系

PDF
TL;DR本文提出了一种基于信息理论的方法，使用 MDL 原理基于压缩编码对局部和全局函数关系进行编码，提出了 Slope 算法，并在合成和真实数据上展示了比现有技术更佳的性能，用于解决从观测数据中推断两个单变量数值随机变量之间因果关系的问题。
causal inferenceobservational dataminimum description lengthregressionslope
发现论文，激发创造
  • 使用 MDL 区分因果和混杂问题，我们不是你的真实父母

    本文根据 Kolmogorov 复杂性提取因果关系方法，利用最小描述长度原则模型比较非潜变量模型和潜变量模型，采用概率 PCA 方法寻找成因的潜在因素，在真实和合成的数据实验中表现良好，准确性与置信度相辅相成。

    Jan, 2019

  • 当存在离散潜变量时，切换回归模型和因果推论

    研究了针对一些未观测到的 (离散值) 直接因素的线性切换回归模型的 MLE 的存在性、一致性和渐近正态性的充分条件，构建了一种测试工具以及一种因果发现算法，并测试发现该算法在模型违规的情况下也具有鲁棒性，且表现优于现有的方法，同时还能够对数据点进行基于过程的聚类。

    Aug, 2018

  • 最小描述长度的再探讨

    这篇论文是一篇对最小描述长度（MDL）原理的介绍和概述，讨论了在统计学、机器学习和模式识别等领域中广泛应用的归纳推理理论。MDL 可以被视为惩罚最大似然和贝叶斯方法的一种强大扩展，其中惩罚函数和先验分布被替换成更一般的幸运函数。

    Aug, 2019

  • 因果推论学习理论

    通过学习概率分布的分类来解决因果推断问题，使用核均值嵌入法特征化样本并构建二元分类器来区分因果方向，可以在多变量情况下推断因果关系。

    Feb, 2015

  • 序列数据的不变因果预测

    本文提出了一种方法来从时间序列数据中推断出因果关系，该方法能够识别因果预测变量并保持环境和异质性模式不变。

    Jun, 2017

  • 从观察数据中推断因果方向：复杂性方法

    通过在离散或连续随机变量之间预测因变量来区分因果关系，我们提出了多个简单快速的标准，以检验因果关系，适用于广泛的因果机制和数据噪声类型。

    Oct, 2020

  • 分布泛化的因果框架

    研究对于在测试和训练分布不同时的结构因果模型中预测响应变量和协变量之间关系的问题，提出了基于因果回归模型和最小化最坏风险的方法，并且介绍了一个配合数据实现最小化风险的框架和方法 NILE。

    Jun, 2020

  • 推断确定性因果关系

    对于两个变量间的因果关系推断，我们提出了一种新的方法，即在确定性（无噪声）情况下，利用函数的非对称性以及它和因变量的概率密度的独立性进行推断。我们还将其与信息几何联系在一起，在不同领域的实际数据集上获得了强有力的实证结果。

    Mar, 2012

  • 利用回归不变性学习因果结构

    在多环境中研究因果推断，介绍使用变量的功能关系的不变性来推断算法的完整性，提出了基线算法和交替算法，并展示了与其他现有算法相比所提出算法的性能优势。

    May, 2017

  • 表示学习的最小描述长度和泛化保证

    设计高效的统计监督学习算法的一大挑战是找到不仅在可用训练样本上表现良好，也在未知数据上表现良好的表示方法。本文建立了一个压缩性框架，通过标签或潜在变量（表示）的 “最小描述长度”（MDL）来推导表示学习算法的泛化误差的上界。通过与固定先验的训练集和测试集的表示（或标签）分布之间的 “多字母” 相对熵，而不是通常认为反映算法泛化能力的编码器输入和表示之间的互信息，建立了新的界限。本文的压缩性方法是信息论的，基于 Blum-Langford 的 PAC-MDL 界限，并引入了两个关键因素：块编码和有损压缩。最后，本文通过引入新的数据依赖性先验，部分利用了理论结果。数值模拟展示了选择良好的先验与 IB 中使用的经典先验相比的优势。

    Feb, 2024