Nov, 2023

大数据聚类的并行化策略：高效 Big-Means 算法全面教程

PDF
TL;DR本研究侧重于对大规模数据集聚类中 Big-means 算法的优化进行研究，探索了四种不同的并行化策略。我们进行了大量实验，评估了每种方法的计算效率、可扩展性和聚类性能，揭示了它们的优势和局限性。本文还探讨了计算效率与聚类质量之间的权衡，考察了各种因素的影响。我们的观察为根据可用资源和数据集特性选择最佳并行化策略提供了实用指导，深入了解大规模数据集聚类中并行化技术的重要性。
big-means algorithmoptimizationparallelization strategiescomputational efficiencyclustering performance
发现论文，激发创造
  • 大规模均值算法中通过竞争随机样本大小优化实现卓越的并行大数据聚类

    该研究论文介绍了一种创新的 K 均值聚类算法，该算法通过整合并行处理、随机抽样和竞争优化等方法，实现了适用于大数据应用的可扩展变体。算法通过动态调整每个工作器的样本大小来优化性能，并且通过在不同样本大小的工作器之间引入竞争机制，进一步提高了 Big-means 算法的效率。同时，在并行计算环境下采用了随机、竞争抽样策略，使得算法在计算时间和聚类质量之间取得平衡。

    Mar, 2024

  • 针对大数据的 K-means 优化：一项比较研究

    本文比较分析了大数据背景下 K-means 算法的不同优化技术。通过并行化、逼近和采样方法等不同方法，探讨了克服大数据规模问题的不同途径。通过使用不同基准数据集评估了这些技术的性能，并根据 LIMA 支配准则在速度、聚类质量和可扩展性方面进行比较。结果表明，不同的技术适用于不同类型的数据集，并提供了关于 K-means 大数据聚类中速度和准确性之间权衡的见解。总体而言，本文为从业者和研究人员提供了如何优化大数据应用中的 K-means 的全面指南。

    Oct, 2023

  • K-Means 算法并行化及应用于大数据聚类

    K-Means 聚类使用 LLoyd 算法是一种迭代方法，将给定数据集分成 K 个不同的簇；本文将比较并分析两种不同的方法，一种是基于 OpenMP 的平坦同步方法，另一种是基于 GPU 的并行化方法，通过比较结果测量性能改进。

    May, 2024

  • 大数据的凸优化

    本文回顾了凸优化算法在大数据中的最新进展，介绍了现代的可扩展近似技术，如一阶方法和随机化，以及并行和分布式计算的重要作用。新的大数据算法基于惊人简单的原则，即使在经典问题上也达到了惊人的加速。

    Nov, 2014

  • 分布式 Silhouette 算法：对大数据进行聚类评估

    本文提出了一种可在分布式环境中高效并行运行的线性复杂度算法来计算聚类的 Silhouette 指数。该算法可以在 Apache Spark ML 库中免费使用。

    Mar, 2023

  • K-Means 聚类算法高效初始化方法的比较研究

    本研究探讨了 K-means 算法及其初始化方法在聚类方面的应用，比较了 8 种常用线性时间复杂度的初始化方法，并使用各种性能指标对各种数据集进行了测试和分析， 结论表明，当前通用的初始化方法表现不佳，并且有更好的替代方案。

    Sep, 2012

  • 理论上高效的并行图算法可以快速且可扩展

    本研究使用理论高效的并行图算法和优化技术，结合大规模图分析，能够使单机具有 1TB 内存的计算机在几分钟内处理超过 35 亿个节点和 1280 亿条边的实际网络图像。同时，研究组将开发的这些算法公开提供给社区，以用作图算法效果评价指标的基准。

    May, 2018

  • 多模态优化的 k - 集群大爆炸 - 大收缩算法

    提出一种基于集群的多模态优化算法 ——k-BBBC，并引入两种后处理方法，以识别局部最优解和量化正确检索到的最优解数量，结果表明该算法在搜索空间的搜索和目标空间的准确性以及成功率方面优于其他多模态优化方法。

    Dec, 2023

  • 并行平均随机梯度算法收敛率

    介绍了一种并行的平均随机梯度算法，能够高效地递归处理高维空间中的大样本数据，并给出了强凸目标和局部强凸目标的平均收敛速度和渐近正态性。

    Oct, 2017

  • LightLDA: 在中小型计算集群上进行大规模主题建模

    通过使用 O（1）MH 采样算法，结构性并行模型方案和有界异步数据并行方案，本文展示了只需要 8 台机器即可在网页级语料库上训练具有 1 亿个主题和 100 万个单词的主题模型（共计 1 万亿个参数），这是目前尚未用数千台机器实现的规模，并且随着集群规模的增加，仍然享有比的时间成本降低，这代表了一项重大的技术突破。

    Dec, 2014