Oct, 2023

针对大数据的 K-means 优化：一项比较研究

PDF
TL;DR本文比较分析了大数据背景下 K-means 算法的不同优化技术。通过并行化、逼近和采样方法等不同方法，探讨了克服大数据规模问题的不同途径。通过使用不同基准数据集评估了这些技术的性能，并根据 LIMA 支配准则在速度、聚类质量和可扩展性方面进行比较。结果表明，不同的技术适用于不同类型的数据集，并提供了关于 K-means 大数据聚类中速度和准确性之间权衡的见解。总体而言，本文为从业者和研究人员提供了如何优化大数据应用中的 K-means 的全面指南。
发现论文，激发创造
  • 大数据聚类的并行化策略：高效 Big-Means 算法全面教程

    本研究侧重于对大规模数据集聚类中 Big-means 算法的优化进行研究，探索了四种不同的并行化策略。我们进行了大量实验，评估了每种方法的计算效率、可扩展性和聚类性能，揭示了它们的优势和局限性。本文还探讨了计算效率与聚类质量之间的权衡，考察了各种因素的影响。我们的观察为根据可用资源和数据集特性选择最佳并行化策略提供了实用指导，深入了解大规模数据集聚类中并行化技术的重要性。

    Nov, 2023

  • 大规模均值算法中通过竞争随机样本大小优化实现卓越的并行大数据聚类

    该研究论文介绍了一种创新的 K 均值聚类算法，该算法通过整合并行处理、随机抽样和竞争优化等方法，实现了适用于大数据应用的可扩展变体。算法通过动态调整每个工作器的样本大小来优化性能，并且通过在不同样本大小的工作器之间引入竞争机制，进一步提高了 Big-means 算法的效率。同时，在并行计算环境下采用了随机、竞争抽样策略，使得算法在计算时间和聚类质量之间取得平衡。

    Mar, 2024

  • K-Means 聚类算法高效初始化方法的比较研究

    本研究探讨了 K-means 算法及其初始化方法在聚类方面的应用，比较了 8 种常用线性时间复杂度的初始化方法，并使用各种性能指标对各种数据集进行了测试和分析， 结论表明，当前通用的初始化方法表现不佳，并且有更好的替代方案。

    Sep, 2012

  • K-Means 算法并行化及应用于大数据聚类

    K-Means 聚类使用 LLoyd 算法是一种迭代方法，将给定数据集分成 K 个不同的簇；本文将比较并分析两种不同的方法，一种是基于 OpenMP 的平坦同步方法，另一种是基于 GPU 的并行化方法，通过比较结果测量性能改进。

    May, 2024

  • 从大到小的数据集：聚类算法选择的尺寸泛化

    在半监督环境中，通过引入聚类算法准确性的大小泛化概念，我们可以通过对较小的实例集进行评估，并保证在原始大型实例上具有最好准确性的算法也在小实例上具有最好准确性。

    Feb, 2024

  • 可扩展核聚类：近似核 k-means

    本文提出了一种基于随机化的近似核 K-means 簇算法，其利用采样点与数据集中所有点之间的核相似性来近似聚类中心，实现了与传统低秩核近似聚类方案相比更好的聚类性能、更短的运行时间和更小的内存需求，最后利用集成聚类技术进一步提高算法性能。

    Feb, 2014

  • 大数据的凸优化

    本文回顾了凸优化算法在大数据中的最新进展，介绍了现代的可扩展近似技术，如一阶方法和随机化，以及并行和分布式计算的重要作用。新的大数据算法基于惊人简单的原则，即使在经典问题上也达到了惊人的加速。

    Nov, 2014

  • 近似聚类的最优时间界限

    本文研究了基于 k-median 目标函数的聚类问题，提出了一种称为连续采样的简单但有效的采样技术，并使用该技术开发了一个可在 O（nk）时间内运行的算法来解决 k-median 问题。

    Dec, 2012

  • 可扩展的 K-Means++

    本研究展示了一种通过在并行计算中显著减少所需传递次数的方法，从而获得好的初始化的 K-means|| 初始化算法，并通过实验评估证明该算法在顺序和并行设置下均优于 K-means ++。

    Mar, 2012

  • 群体智能在数据聚类机制中的作用

    本文回顾了最新的数据聚类方法，包括传统算法 K-means 的局限性以及 Swarm-based 算法如何解决大数据集聚类的问题，并比较它们哪个适合特定的实际问题。

    May, 2023