Feb, 2013

聚类中的硬聚类和软聚类方法的信息论分析

PDF
TL;DR本文通过信息论分析研究了几种不同的分配方法，包括 “硬分配” 和 “软分配”，发现 K-means 和 EM 算法之间的系统差异。同时提出了一种后验分配方法，与 EM 的 “软分配” 相似，但具有截然不同的算法。
unsupervised learningclusteringk-meansexpectation-maximizationinformation-theoretic analysis
发现论文，激发创造
  • 几种聚类方法和初始化方法的实验比较

    本文研究高维数据的聚类方法，探讨了 Expectation-Maximization 算法、基于 K-means 的获胜者通吃算法和基于模型的分层凝聚聚类算法，发现 EM 算法在质量上明显优于其他方法，并研究了各种初始化方案对 EM 算法产生的最终解的影响。

    Jan, 2013

  • 基于平衡 k 均值的不均衡数据聚类

    平衡 K-means（EKM）是一种新颖且简单的 K-means 类型算法，通过减少大簇中心聚集的趋势，在不平衡数据上显著改善聚类结果。该论文还介绍了 HKM、FKM 和 EKM 的统一视角，展示它们本质上是梯度下降算法，并与牛顿法有明确的关系。通过将高维数据映射到低维、适合 EKM 的空间，使用 EKM 进行深度聚类可在不平衡数据上将聚类准确性提高 35%。

    Feb, 2024

  • 信息熵聚类探秘

    该研究提出一种基于信息论原理且无需参数假设的数据聚类新方法，将信息论用于无偏见的数据分类可能会从根本上导致聚类性能恶化，而作者们则基于信息论的基本概念，提出了一种新的聚类度量方法，通过对有限数据的粗粒化一致性来定义含义。

    Oct, 2013

  • 带权重数据聚类的 EM 算法及其在音视频场景分析中的应用

    本文提出了一种新的带权数据高斯混合模型，基于期望最大化算法提出了两种 EM 算法，考虑每一个观测值的固定权重或随机变量，同时提出了模型选择方法和权重初始化策略，并在音视频情景分析领域证明了该方法的有效性和鲁棒性。

    Sep, 2015

  • 分区和特征分配的摘要统计

    本文提出了一种基于区块大小的统计量，并且采用基于元素的熵的定义来量化其分割信息，并且使用熵聚类算法简化和可视化信息，实验证明这种统计量在实践中非常有用，使用于各种无限混合后验及特征分配数据集。

    Oct, 2013

  • 可微分的深度聚类 + 聚类大小限制

    通过将 $k$-means 聚类算法重写为最优传输任务，并加入熵正则化，我们提出了一种全新的方法，其中嵌入是由深度神经网络执行的，表明与现有的基于软 $k$-means 的最新方法相比，我们的最优传输方法提供更好的无监督准确度，不需要预训练阶段。

    Oct, 2019

  • 一种基于信息熵负载的聚类方法

    本文提出了一种基于信息理论的聚类方法，通过该方法聚类结果的熵载荷能够最大化，避免了需要预设特定参数的问题，可用于图像分割、对象分类等领域，也可作为无监督学习的基础。

    Sep, 2022

  • 一种基于分布的软聚类比较和评估方法

    本论文提出了一种创新性的解决方案，通过以软聚类 (Soft Clustering) 作为硬聚类 (Hard Clustering) 分布的形式来扩展比较度量，以适应 SC 算法结果中的不确定性。经过深入研究和实验证明此方法的可行性。

    Jun, 2022

  • 数据易于 (对于 K-Means)

    该论文研究了 $k$-means 算法的能力，正确地恢复互相分离的簇群。基于常见的簇群定义，考虑了簇内同质性和簇间多样性的要求，并找到了一种特殊情况的互相分离簇群，使得 $k$-means 的代价函数全局最小值与互相分离性一致。通过实验发现各种 $k$-means 品牌实际上无法发现互相分离的簇群，因此提出了一种新的算法，通过重复子抽样选择种子的方式，对 $k$-means++ 进行变体改进，并在任务中胜过 $k$-means 系列中的其他四种算法。

    Aug, 2023

  • 基于平方损失互信息的信息最大化聚类

    该论文提出了一种基于核特征值分解的新型信息最大化聚类方法，该方法使用变体的互信息的平方误差作为目标函数进行聚类，具有高效性和可解性。同时，该方法还提供了一个实用的模型选择过程来优化核函数中包含的调整参数，并通过实验证明了该方法的实用性。

    Dec, 2011