Dec, 2016

高维度、低样本量数据完美聚类

PDF
TL;DR本文针对高维低样本量情况下聚类算法性能下降的问题，介绍了一种基于云图的 MADD 差异度量方法，并证明了其在高维数据聚类上的有效性；根据理论和实验结果，比较了多种算法及其聚类效果评估方法，发现在使用 MADD 代替欧氏距离时，已有算法的表现得到提升。同时，作者提出了一种基于罚函数 Dunn 指数的新的聚类数目估计方法，在固定样本数量、维数增加的情况下使方法相对于样本数更稳定。最后，研究运用了多组真实和模拟数据集来证明 MADD 方法对高维数据聚类分析中的重要性。
clustering algorithmshigh dimensional datamadd dissimilarity measurenumber of clusterspenalized dunn index
发现论文，激发创造
  • 使用数据自适应能量距离对高维数据进行强大分类

    针对高维低样本数量数据的分类问题，本文提出了一种基于特定设计，没有调整参数并且具有鲁棒性的分类器，并证明在某些一般条件下，在高维低样本数量渐近情况下，分类准确无误。通过广泛的模拟研究和实际数据分析，展示出所提出分类技术相对于几种广泛认可的方法的显著优势。

    Jun, 2023

  • 利用超维度计算的鲁棒聚类

    本研究提出了基于超维计算的聚类算法，通过利用编码数据的相似性确定初始聚类超维，并通过实验证明相似性传播聚类算法在八个数据集上的聚类精度优于其他算法，提高了聚类算法的准确性。

    Dec, 2023

  • 在线自适应马氏距离估计

    本文介绍了在 Mahalanobis 距离中应用草图技术加速算法的研究，提供了适用于 Mahalanobis 距离的数据结构，可处理自适应查询和在线更新，并与在线学习 Mahalanobis 度量的先前算法相结合。

    Sep, 2023

  • 您的模型是否 “MADD”？一种新的度量算法公平性的度量方法，用于预测学生模型

    本研究利用 “模型绝对密度距离（MADD）” 这一新型公平度量标准，独立于预测性能，分析模型的歧视行为，并通过可视化分析，对在线课程中预测学生成功的常见任务使用的几种常见预测分类模型进行了评估，表明公平的预测性能不能保证公平的模型行为和公平结果，模型的歧视行为因敏感特征的不同而不同，建议在预测性能良好的模型上使用 MADD，以获得对模型行为的更细致理解，以优化模型选择和使用。

    May, 2023

  • 基于数据分布的图像聚类算法

    通过使用大数定律重新衍生出的 “对比损失”，我们将其重新解读为一种 “福音”，这种现象使得分布的实例集中在一个狭窄的 “超壳” 上，从而实现数据点的聚类，并且能够从未组织的数据中寻找模式。

    Apr, 2018

  • 高维小样本分类的随机森林差异性

    使用经学习的预计算支持向量机核函数的随机森林相似度度量，我们通过对 40 个高维低样本量分类数据集进行实验证明了该方法在大多数高维低样本量问题上优于现有方法，并且在低维非高维低样本量问题上仍然具有很强的竞争力。

    Oct, 2023

  • 聚类分析中的形状复杂性

    利用多维数据的形状复杂度概念，应用在特定的非线性函数上，制定了一种新的 “中等距离” 下的基于约束的非线性规划问题，从而探索更有效的聚类缩放因子数量的方法。

    May, 2022

  • 超越标签：基于距离分布熵的聚类分析进展 (EDD)

    该研究论文介绍了一种新的无标签聚类分析方法，称为距离分布熵（EDD），它通过量化数据集中数据点间的距离特征差异来判断聚类倾向，具有更好的兼容性和鲁棒性，可用于解析复杂数据结构。

    Nov, 2023

  • Poincare 圆盘上的多维缩放

    本文提出了一种基于 Poincare disk（PD）的超几何平面的度量多维缩放（PD-MDS）算法，通过基于初等的超几何线搜索而非黑盒优化器的构建方法，在超几何空间模型中解决了多方面的问题。

    May, 2011

  • 基于核函数和距离的高维度双样本检验的适应性和计算 - 统计权衡

    本文比较了一些经典的核方法和能量统计测试在不同类型的两组随机变量下的性能，发现在测试显著性差异和分布不同上，这些测试和基于第一时刻测试的特殊高维 t-test 有同样的功效。

    Aug, 2015