Oct, 2023

关于利用冯・米塞斯估计器进行条件独立性检验的样本复杂性及其应用于因果推断

PDF
TL;DR基于我们的估计器建立的多元分布的熵的非参数 Von Mises 估计器，在条件独立性测试这一关键步骤上受到启发，我们设计了一种基于估计器的条件独立性测试（VM-CI），在光滑性假设下达到了最优的参数速率。利用指数集中不等式，我们证明了 VM-CI 的总体误差的紧密上限。反过来，这使我们能够表征使用 VM-CI 进行条件独立性测试的任何基于约束的因果发现算法的样本复杂度。据我们所知，这是连续变量因果发现的首个样本复杂度保证。此外，我们经验证明，无论是时间复杂度还是样本复杂度（或两者兼有），VM-CI 在性能上优于其他常见的条件独立性测试，这也反映在结构学习中表现出更好的性能。
发现论文，激发创造
  • 基于最近邻估计器的条件互信息独立性检验

    提出了一种基于条件互信息和局部置换方案的全非参数连续数据测试方法，能够适应强非线性相关性，表现优于基于核的测试，并在小样本和高维条件下可靠地模拟零分布。

    Sep, 2017

  • 模型驱动的条件独立性检验

    针对连续随机变量，我们将条件独立性检验转化为分类问题并实现了非参数化的方案，通过最近邻引导采样策略生成训练样本，并提出一种大型数据集上性能更好的算法，从而实现有效测试。

    Sep, 2017

  • 使用随机复杂度测试离散数据的条件独立性

    本文提出了一种基于算法独立性的、使用随机复杂性解决离散数据条件互信息估计问题的测试方法 SCI，此方法可以在有限的样本上找到合理的 CMI 阈值。实验证明 SCI 比常规测试具有更低的 II 类错误和更高的召回率，可应用于因果发现算法中。

    Mar, 2019

  • 基于核的条件独立性检验及其在因果发现中的应用

    提出了一种基于核的条件独立性检验方法（KCI-test），可以有效地在维数较高、条件集较大、样本容量较小的情况下进行条件独立性检验，并且实验证明该方法胜过其他方法。

    Feb, 2012

  • 差分隐私条件独立性检验

    本研究探讨在差分隐私的约束下的条件独立性检验，设计了两种基于广义协方差度量的私有 CI 检验以及基于 Candës 等人的条件随机化检验（在模型 - X 假设下），这是第一种适用于 $ Z $ 为连续型变量的私有 CI 检验。

    Jun, 2023

  • 模型错误下的条件独立性检验

    在现代统计学和机器学习中，条件独立性检验是基础性且具有挑战性的。许多现代的条件独立性检验方法依赖于强大的监督学习方法，在学习回归函数或贝叶斯预测器时作为一种中间步骤。然而，当监督学习方法由于模型错误估计导致失败时，这些方法的行为了解还很有限。在更广义上，即使使用通用逼近器（如深度神经网络），模型错误估计仍然可能产生。因此，我们研究了基于回归的条件独立性测试在模型错误估计下的性能。具体地，我们提出了三个基于回归的测试的测试误差的新近似值或上界，这些误差依赖于模型错误估计。此外，我们引入了一种新的基于回归的条件独立性测试方法，即 Rao-Blackwellized 预测器测试（RBPT），该方法对模型错误估计具有鲁棒性。最后，我们使用人工数据和真实数据进行实验证明了我们的理论和方法的有用性。

    Jul, 2023

  • 理解变分互信息估计器的局限性

    论文提出并实现了一种新的基于神经网络的相互信息估计方法，该方法能够有效地减少方差并针对基准测试任务展现出更好的偏差 - 方差权衡性能。

    Oct, 2019

  • 高度相关变量互信息的有效估计

    提出了一种新的相互信息非参数估计值，解决了其他方法基于局部分布均匀性计算相互信息的局限性，对于很少的数据也可以准确地估计两个相关变量之间的相互信息，并且在合成和真实世界数据上表现出卓越的性能。

    Nov, 2014

  • 条件独立性的实用核检验

    描述了一种数据高效、基于核的条件独立性统计检验方法，通过数据拆分、辅助数据和更简单的函数类别等方法，控制偏差并校正测试水平，适用于合成和真实数据。

    Feb, 2024

  • 一种可扩展的非线性非高斯数据条件独立性检验方法

    提出一种新的 O (N^2) 条件相关独立性检验方法 (CC I)，比使用核复现希尔伯特空间 (KCI) 方法计算要快得多，对高维度数据集适用，并且在处理复杂的非线性、非高斯数据集时，比 Harris＆Drton（2012）方法以及偏相关度量 (线性高斯检验) 更准确。

    Jan, 2014