WWWMay, 2015

Parallel Streaming Signature EM-tree: 面向 Web 规模应用的聚类算法

PDF
TL;DR本研究提出了一种可伸缩的聚类算法，使用 EM-tree 算法在单个中型计算机上对数千亿个网页进行聚类，并在 ClueWeb09 和 ClueWeb12 上应用该算法，将 500 到 700 万个网页聚类成 50-70 万个聚类，进而提高了聚类质量的评价。
web pagesclustering algorithmem-tree algorithmfine-grained clusteringcluster quality
发现论文，激发创造
  • 一个用于图聚类的流算法

    我们提出了一种新的算法，用于在单次遍历的边流设置中执行图聚类，并基于模块度函数提供了理论上的解释。我们对从一百万到十亿边的大规模现实生活图表进行实验，并展示了该算法比现有算法运行速度快十倍以上，并可在最大的图表上获得相似或更好的检测分数。

    Dec, 2017

  • LightLDA: 在中小型计算集群上进行大规模主题建模

    通过使用 O（1）MH 采样算法，结构性并行模型方案和有界异步数据并行方案，本文展示了只需要 8 台机器即可在网页级语料库上训练具有 1 亿个主题和 100 万个单词的主题模型（共计 1 万亿个参数），这是目前尚未用数千台机器实现的规模，并且随着集群规模的增加，仍然享有比的时间成本降低，这代表了一项重大的技术突破。

    Dec, 2014

  • 社交媒体流中的模因聚类

    该论文介绍了一种针对 Twitter 的流式框架，用于在线检测和聚类社交媒体中的模因，通过 “原型模因检测” 预聚类后，在多个相似性衡量标准的基础上聚合原型模因，建立起与语义、结构、主题数相关的推文集群。

    Nov, 2014

  • 已知和新兴恶意软件家族的在线聚类

    通过使用基于机器学习的在线聚类模型，该研究论文介绍了一种将恶意软件样本在线聚类为恶意软件家族的方法，提高了恶意软件检测和分类的效率。

    May, 2024

  • 多语种流媒体新闻的聚类

    该研究提出一种基于多语言文档流聚类的方法，可用于实时新闻监测和处理，并在德语、英语和西班牙语数据集上实现了最优结果。

    Sep, 2018

  • 基于多尺度图划分的内容驱动非监督式新闻文章聚类

    介绍了一种利用自然语言处理和图论工具结合的方法，通过向量表示和多尺度社团检测技术对文本进行分析和分类，得出了一组组具有相似内容的文档，揭示了主题和子主题的类层次结构。

    Aug, 2018

  • 几种聚类方法和初始化方法的实验比较

    本文研究高维数据的聚类方法，探讨了 Expectation-Maximization 算法、基于 K-means 的获胜者通吃算法和基于模型的分层凝聚聚类算法，发现 EM 算法在质量上明显优于其他方法，并研究了各种初始化方案对 EM 算法产生的最终解的影响。

    Jan, 2013

  • PDSum：基于原型的流式多文档集持续摘要

    这篇论文提出了一种新的问题 Evolution Multi-Document sets stream Summarization (EMDS) 以及一种新的无监督算法 PDSum 来解决动态演变的多文档集的连续摘要，该算法采用基于原型的轻量级方法来更新新摘要。

    Feb, 2023

  • 通过投影熵聚类单词

    应用熵聚类算法对文学文本进行聚类分析，实验结果表明该算法具有在捕捉文本中单词之间显著关系方面的实用性。

    Oct, 2014

  • Blowfish：用于量化语义搜索中的歧义的拓扑和统计特征

    本研究通过分析句子嵌入中的拓扑特征，提出了一种新的语义相似性评分策略，并探讨了歧义性在向量搜索和生成增强检索系统中的应用。

    Jun, 2024