Apr, 2007

通过依赖估计的监督特征选择

PDF
TL;DR本文提出了基于 HSIC（Hilbert-Schmidt Independence Criterion）的特征选择框架，旨在将各种监督学习问题（包括分类和回归）统一起来。该方法通过后向逐步消除算法进行求解，Maximise features and labels 之间的相关性， 并在人工和实际数据集上展示了该方法的有效性。
feature selectionsupervised learninghsicbackward eliminationdependence
发现论文，激发创造
  • 关于特征选择中核依赖最大化的限制性研究

    通过反例，我们证明了使用 Hilbert-Schmidt 独立性准则（HSIC）来进行特征选择的基本原理是错误的，而且通过 HSIC 的最大化可能会忽略掉关键特征。

    Jun, 2024

  • 希尔伯特 - 施密特独立准则下的强健学习

    使用 HSIC 作为损失函数学习鲁棒回归和分类模型，以期望产生具有良好概括性能力的模型用于处理无监督共变量漂移任务，实验表明其优于标准损失函数取得最新成果。

    Oct, 2019

  • 核最大化依赖下的自主学习

    本研究从统计相关性的角度探讨自我监督学习方法，提出了一种基于 Hilbert-Schmidt 独立性准则（SSL-HSIC）的自我监督学习方法，该方法最大化与图像表示转换和图像身份的相关性，并将那些表示的核化方差最小化。实验表明，该方法在 ImageNet 数据集上的表现可以匹敌当前的最佳方法。

    Jun, 2021

  • 相对依赖性的低方差一致性测试

    使用 Hilbert-Schmidt 独立准则（HSIC）测量依赖性，建立了新型非参数统计假设检验方法，用于确定一个源变量对于两个候选目标变量的依赖性。测试表明第一个依赖度量是否显著大于第二个，其结果表明建立这些 HSIC 统计数据之间的协方差计算比独立 HSIC 统计量的子采样法更有效。

    Jun, 2014

  • 依赖度量在敏感性分析和筛选中的新进展

    本文旨在通过研究依赖性测量和基于 Bootstrap 抽样技术进行屏幕化以及提出基于线性模型的方法来识别重要参数，从而解决传统敏感性分析方法在参数过多时计算成本高的问题。数值实验表明这些方法具有较高的有效性和可行性。

    Dec, 2014

  • 核独立性检验的一种更简易的一致性条件

    本文使用希尔伯特 - 施密特独立准则（HSIC）作为检验统计量，构建了独立性的统计检验方法，通过分析联合分布的嵌入和边缘分布乘积的嵌入之间在再生核希尔伯特空间中的距离来定义 HSIC。通过本文的研究结果表明，即使在联合分布的核函数不具有特性的情况下，在各自的域上的边缘核函数具有特性的基础上，也可以构建基于 HSIC 的独立性统计检验，并保持其一致性。

    Jan, 2015

  • 超高维特征空间的稳健独立筛选

    该研究介绍了 Sure Independence Screening（SIS）概念，提出了一种基于相关学习的 SIS 方法来减少超高维度，进而通过 SCAD、Dantzig 选择、Lasso 或自适应 Lasso 等成熟方法来提高速度和准确率。

    Dec, 2006

  • 平移不变核 HSIC 估计的极小最大速率

    在本研究中，我们证明了具有连续有界平移不变特征核的 Borel 测度中，Hilbert-Schmidt 独立性准则（HSIC）在 R^d 上的最优最小化估计率为 O (n^(-1/2))，从而证实了许多经常使用的估计器（包括 U 统计量、V 统计量和 Nystrom-based 统计量）在 R^d 上的最小化最优性。

    Mar, 2024

  • 自编码架构中的依赖瓶颈：一项实证研究

    研究通过使用 Hilbert-Schmidt 独立准则（HSIC）作为依赖度量来测量 DNN 中图层之间的依赖关系，从而更准确地研究 DNN 中的信息瓶颈和泛化特性，并在实验中评估了该方法在 auto-encoding 的应用。

    Feb, 2018

  • 在群体公平设置中检测敏感特征的统计学方法

    本文提出了一种基于 Hilber-Schmidt 独立性准则的预处理步骤，用于自动识别敏感特征，以解决机器学习模型在高度影响社会的决策支持系统中不公平结果的问题。我们的实验结果证明了我们的假设，并表明文献中被认为是敏感的几个特征不一定产生不公平结果。

    May, 2023