Dec, 2023

Dip - 检验范围的扩展 - 用于聚类的高效可微 p 值计算

PDF
TL;DR过去十年中，Dip-test 在数据挖掘领域引起越来越多的关注，它是一种无参数统计检验方法，可可靠地评估一维样本的单峰性，并返回 Dip 值和相应的单峰性概率 (Dip-p-value)。我们提出了一种专门设计的 sigmoid 函数，用作现有查找表的替代方案，加速计算，并为每个样本大小提供 Dip - 到 Dip-p-value 的转换近似值，并且易于在梯度下降中集成进学习方案。我们在名为 Dip'n'Sub 的新型子空间聚类算法中利用该函数，通过广泛的实验展示了我们提出的方法的各种优点。
dip-testunimodalityclustering algorithmssigmoid functionsubspace clustering
发现论文，激发创造
  • 利用随机投影的马氏距离 DIP 统计量进行多元单峰性检验

    通过线性随机投影和点对点距离计算，我们提出了一种根据 α- 单峰假设的多元单峰性测试方法，命名为 mud-pod，通过将一维单峰性原理推广到多维空间中，从而在多维数据集的单峰性评估和聚类数量估计方面表现出良好效果。

    Nov, 2023

  • 二项分布数据的差分隐私最强统一检验

    本文提出了一种基于 Differential Privacy 的 UMP 检验方法，利用经验分布建立二项数据的 Neyman-Pearson 检验，使用 Truncated-Uniform-Laplace (Tulap) 方法获得确切的 p 值，实验表明这种方法不仅有准确的 I 类错误，且比目前的技术更加强大。

    May, 2018

  • 高维假设检验的定向 - 投影 - 置换

    提出了一个非参数框架 DiProPerm，用于高维假设检验。实证和理论分析表明，DiProPerm 能够在许多情况下成为有力的测试工具，此外还对高维基因表达数据进行了应用。

    Apr, 2013

  • 高维数据成对样本假设检验框架

    在多维配对样本测试中，我们提出了一种得分函数的生成方法，通过连接每对样本的垂直平分线的决策规则进行定义。然后，我们通过广义化的 Hodges-Lehmann 估计器来估计这些规则的伪中值，从而得到最优得分函数。我们提出了一个两步测试过程的框架，通过此框架可获得在测试准确性和特征贡献估计方面相较于传统多元和多重测试具有显著性能提升的方法。

    Sep, 2023

  • 作为双样本检验代理的分类准确性

    探究在高维情况下对分类器的精度验证，证明一种基于排列组合的测试方法具有连续性及德克斯特拉极限分布的高斯近似测试也具有连续性，并以高斯分布为例进一步研究了线性判别分析和 Hotelling's 测试等方法的功率。

    Feb, 2016

  • 高维回归的置信区间和假设检验

    该文提出了一个新颖的算法，用于构建自然参数的置信区间和 p 值，并使用高维线性回归问题和一个高通量基因组数据集进行测试。

    Jun, 2013

  • 使用符合性 p 值检测异常值

    本文研究基于共形推断的非参数异常检测的 p - 值构造，提出了一种计算条件合法且独立的 p 值的新方法，并使用浓度不等式建立了我们有限样本保证的证明。

    Apr, 2021

  • 一种基于图形的多元和对象数据双样本检验新方法

    本文介绍了一种新的基于样本汇总上的相似性图构建的新型检验统计量，适用于多元数据和非欧几里得数据，可以通过定义样本空间上的不相似性度量，使用于匹配观测研究中的协变量平衡评估和比较网络数据等问题，并在模拟研究中表现出明显的功效提升。

    Jul, 2013

  • 高维线性模型的统计意义

    本研究提出了一种方法，可以在高维线性模型中构建一般假设的 p 值。该方法可用于测试单个回归参数或涉及多个甚至所有参数的假设，同时考虑到 p 值之间的依赖关系，进行多重比较校正。该技术基于 Ridge 估计和在高维度中的投影偏差上增加的修正项，我们证明了我们的 p 值具有强大的误差控制，并提供了充分的检测条件，同时在模拟实例和真实数据应用中演示了该方法。

    Feb, 2012

  • 高概率离散分布的最佳测试

    研究总变差距离下的离散分布测试问题，提出可用于样本较高概率区域的属性测试的算法，包括相应参数的样本复杂度与正确性保障。

    Sep, 2020