从数据中推断相互独立的最精细模式

Jun, 2023

从数据中推断相互独立的最精细模式

Inferring the finest pattern of mutual independence from data

G. Marrelec, A. Giron

TL;DR本文研究关于多变量正态分布的互相独立的模式的提取，并提出了一种称为二元的独立，通过估计二元独立集的有效模式来估计互相独立的最终模式，并针对模拟数据和实验数据进行了测试。

Abstract

For a random variable $X$, we are interested in the blind extraction of its finest mutual independence pattern $\mu ( X )$. We introduce a specific kind of independence that we call dichotomic. If $\Delta ( X )$ stands for the set of all patterns of →

mutual independence pattern dichotomic independence multivariate normal distribution estimation experimental data

发现论文，激发创造

估计互信息

本文介绍了基于 $k$- 最近邻距离的熵估计的改进互信息估计器类别，并说明了它们与现有算法的比较和实际应用中的有效性。

May, 2003

基于核的联合独立性检验

我们提出了一种用于检验 $d$ 个可能连续或不连续的随机变量是否相互独立的方法，该方法利用了二元 Hilbert-Schmidt 独立性准则（HSIC）的思想并允许任意数量的变量，将 $d$ 维联合分布和边缘乘积嵌入到再生核 Hilbert 空间中并定义 $d$ 变量的 Hilbert-Schmidt 独立性准则（dHSIC）为嵌入之间的平方距离。在总体情况下，只要核是特征的，dHSIC 的值为零则说明 $d$ 个变量相互独立。基于对 dHSIC 的经验估计，我们定义了三种不同的非参数假设检验：置换检验、自举检验和基于 Gamma 近似的检验。我们证明了置换检验达到了显著水平，并且自举检验也达到了点态渐近显著水平以及点态渐近一致性（即它能够在大样本极限中检测任何类型的固定依赖性）。Gamma 近似没有这些保证，但它在计算方面非常快，并且对于较小的 $d$，它的性能良好。最后，我们将该检验应用于因果发现问题。

Mar, 2016

极小极大化最优条件独立性测试

研究了在条件分布连续的情况下，基于条件独立性测试 $X$ 和 $Y$ 关于 $Z$，$X$ 和 $Y$ 均为离散或连续变量的问题。考虑到条件独立性测试的研究，对于所有绝对连续的条件分布都无法设计非平凡的测试以控制所有的一类错误并确保在有趣的替代情况下仍然具有功效，因此在条件分布的各个自然光滑性假设下研究了条件独立性测试的难度，并以总变差度量指标的临界分离半径为下界和上界。最后，提供了一种新的证明方法以证明 Shah 与 Peters 的结论。

Jan, 2020

提取各个变量的信息以进行解耦、直接互信息和多特征 Granger 因果关系分析

多个变量间的可逆归一化和独立性，基于复杂有条件概率分布的详细模型，讨论了直接相互信息传递和因果关系方向的多要素格兰杰因果关系分析方法。

Nov, 2023

测试未标记数据库的依赖性

该研究探讨了如何决定两个随机数据库之间是否存在统计依赖关系，并通过零假设和备择假设构建了一个假设检验问题，其中在零假设下，这两个数据库是统计独立的，而在备择假设下，存在一个未知的行排列使得两个数据库具有已知的联合分布但与零假设的边际分布相同。我们通过研究数据集生成分布的特征、$n$、$d$ 等因素，确定了信息理论上不可能和可能进行最优检验的阈值。此外，我们还分析了当 $d$ 固定时的情况，并推导出了强（错误几乎为零）和弱检测的下界和上界。

Nov, 2023

基于互信息的非参数独立性检验

提出了一种称为 MINT 的新方法，该方法基于互信息的估计，并使用从最近的邻居距离导出的有效熵估计器，从而便于将互信息分解为联合和边际熵，用于检验两个多变量随机向量的独立性，并可将其扩展为基于测量协变量向量与误差向量独立性的新正态线性模型是否适配的卡方检验，并在模拟和真实数据上进行了数值研究。

Nov, 2017