Jan, 2015

大数据聚类草图与验证

PDF
TL;DR本文提出了一种用于大数据分析的高效聚类框架 ——SkeVa family，它包括基于 k 均值聚类和核函数聚类的算法，并使用随机采样和一致性 (RANSAC) 思想进行降维和集合简化。此外还引入了一种基于离散度准则的算法。通过在大规模数据集上的实验，发现这些算法与最先进的随机投影方案相比，具有非常良好的竞争性能。
clusteringbig data analyticsdimensionality reductionset-reduction algorithmsskeva family
发现论文，激发创造
  • 手绘子空间聚类

    本文介绍了一种随机化方案，名为 Sketch-SC，它是一种针对高维大容量数据的 SC 的加速计算方法，通过使用随机投影来压缩数据矩阵以实现快速而准确的大规模 SC。在实际数据上的性能分析及广泛的数值测试证实了 Sketch-SC 的潜力和与最先进的可扩展的 SC 方法相比的竞争性能。

    Jul, 2017

  • 通过方差减少的草图进行非参数估计

    通过引入一种名为 Variance-Reduced Sketching (VRS) 的新框架，我们特别设计了一种在高维度中估计密度函数和非参数回归函数的方法，其降低了 “维数灾难” 的影响，并通过一系列模拟实验和实际数据应用展示了其在密度估计和非参数回归模型中相较于现有的神经网络估计器和经典核方法的显著改进。此外，我们为 VRS 提供了理论上的证明，支持其在降低维度灾难的同时提供非参数估计能力。

    Jan, 2024

  • 高维数据聚类评估的自监督方法

    提出了一个基于深度学习的框架，在复杂的图像数据集中生成代表性嵌入，然后将这些低维嵌入馈送到 VAT/iVAT 算法中，以估计潜在的聚类结构。

    May, 2023

  • 面向可视化的大型数据库采样

    提出了可视化感知采样（VAS）方法，通过优化可视化启发式损失函数，从而在保证可视化质量的基础上，实现对大规模数据集的快速采样。实验表明，VAS 相比现有的方法具有更高的成功率和更快的速度，尤其在回归、密度估计和聚类等场景下。

    Oct, 2015

  • 分布式草图缩放图聚类

    该研究使用基于矩阵草图的方法来解决在大规模图分析中传统方法遇到的挑战，尤其是无监督学习的社区结构划分问题，实验表明该方法在分配内存中可以获得出色的聚类效果，同时提高了聚类速度。

    Jul, 2020

  • 随机降维 k-means 聚类

    本文研究了 $k$-means 聚类的降维问题，提出了第一个能够保证准确的特征选择方法，并针对特征提取提出了两种方法，分别基于随机投影和快速近似 SVD 分解。所提出的算法是随机的，并对最优 $k$-means 目标值提供一定的近似保证。

    Oct, 2011

  • SAVA: 可伸缩的学习无偏数据估值

    SAVA 是 LAVA 算法的可扩展变体，通过对数据点的批处理进行运算来解决大规模数据集的数据估值任务。

    Jun, 2024

  • PaVa：一种基于路径的寻谷聚类算法

    本文提出了一种新颖的基于路径的寻谷聚类算法，用于处理形状任意的聚类，该算法利用路径距离（minmax 距离）将聚类之间的不规则边界转换为完美的球壳，然后寻找这些转换过的密度谷并提取聚类，最后实验表明该算法精确高效，适用于多个领域。

    Jun, 2023

  • 随机块模型中 SVD 的能力

    通过研究随机块模型中普通奇异值分解算法（vanilla-SVD）的能力，发现在对称设置下，vanilla-SVD 算法能正确恢复所有聚类，回答了 Van Vu 在对称设置下所提出的一个开放问题。

    Sep, 2023

  • 可扩展核聚类：近似核 k-means

    本文提出了一种基于随机化的近似核 K-means 簇算法，其利用采样点与数据集中所有点之间的核相似性来近似聚类中心，实现了与传统低秩核近似聚类方案相比更好的聚类性能、更短的运行时间和更小的内存需求，最后利用集成聚类技术进一步提高算法性能。

    Feb, 2014