当维度增加时，数据的特征和可解释性变得更加抽象和复杂。在高维空间中，低维空间中的常见模式和关系可能不再成立，这导致回归、分类或聚类模型或算法的性能下降，这被称为维数灾难。本文总结了操作高维数据时面临的五个挑战，并通过理论和实证分析探讨了维数灾难的两个主要原因，即距离集中和流形效应。结果表明，随着维度增加，使用三种典型距离度量（闵可夫斯基距离、切比雪夫距离和余弦距离）的最近邻搜索变得无意义。与此同时，数据包含了更多冗余特征，主成分分析（PCA）的方差贡献偏向于少数几个维度。通过解释维数灾难的原因，我们可以更好地理解当前模型和算法的局限性，并努力提高高维空间中的数据分析和机器学习任务的性能。

Dec, 2023

通过选择最具信息量的特征并消除无关的特征，我们提出了一种新的基于差异性特征的滤波特征选择方法 ContrastFS，该方法能够在大型数据集上有效地降低计算成本，而且性能优于其他最先进的特征选择方法。

Jan, 2024

通过引入一种新的贡献维度结构 (CDS) 度量，我们的方法增强了五种经典选择方法，提高了模型的性能。在三个数据集上的实验表明，我们的方法对现有方法具有普遍的有效性。

Jan, 2024

研究高维数据集中的特征选择方法及其发展，包括单变量相关性排名算法、关联 - 冗余折衷和基于多变量依赖性的方法，并总结文献中各种方法的贡献，同时介绍当前的问题和挑战，以确定未来的研究和发展方向。

Jun, 2023

本文提出了两种基于非线性变换和广义线性模型的降维算法，分别适用于回归和分类问题，测试表明算法效果竞争力强。

Jun, 2023

本文综述了一些线性降维方法，以及它们如何作为矩阵流形优化问题进行求解，并提出了一种基于正交投影的典型相关分析方法，这种优化框架使得线性降维成为了一种面向各种数据类型的黑盒子数值技术。

Jun, 2014

本文简要介绍了高维统计推断中变量选择的理论、方法和实现的最近发展，强调单峰罚函数的统计性质及其在高维统计建模中的作用，同时还回顾了独立筛选和两种方法在超高维变量选择方面的最近进展。

Oct, 2009

本文提出了一种新的学习范式，以自动从非常高的维度中识别出信息丰富且相关的特征组。通过利用相关度量作为约束条件，我们提出了一种有效的嵌入式特征选择方法，可以识别出最优的有区分性而且不相关的特征子集，即所谓的支持特征。在学习过程中，还可以发现与每个支持特征相关联的相关特征的基础组结构，即附属特征，而不需要任何额外成本。 在合成和高维真实世界数据集上的广泛实证研究验证了所提出的方法的有效性和效率。

Jun, 2012

探索了机器学习方法背后的机制，利用内在维度与相关性之间的纠缠提出了一种度量标准，用于量化高维流形之间的相关性。验证了方法在合成数据上的优势和缺点，并在神经网络表示中将分析扩展到大规模应用，揭示了多模态数据的潜在表示之间明显的关联，而现有方法在检测相似性方面存在显著困难。研究结果表明了潜在流形之间高度非线性的相关性模式的存在。

Jun, 2024

本文比较了不同算法在特征选择方面的效果，结果表明 PCA、Rough PCA、USQR 和 EDR 算法能够快速筛选出对数据分类最相关的特征。

Jun, 2013