Jun, 2024

超越 ImageNet-1K 的深度聚类方法的扩展

PDF
TL;DR在大规模基准数据集上，探索了基于特征的深度聚类方法的性能表现，并分析了数据相关因素对其影响，包括类别不平衡、类别粒度、易于识别的类别和捕获多类别的能力。通过基于 ImageNet21K 的多个新基准评估实验，发现基于特征的 $k$-means 在平衡数据集上评估不公平，而深度聚类方法在大多数大规模基准数据集上表现优于 $k$-means。有趣的是，$k$-means 在易于分类的基准上表现不佳，但在最高数据规模（如 ImageNet21K）上的性能差距减小。最后，发现非主要聚类预测能够捕获有意义的类别（即更粗略的类别）。
发现论文，激发创造
  • 具体 K-means 深度聚类

    本研究旨在探讨从未标记数据中同时学习 K-means 聚类和深度特征表示的问题，通过 Gumbel-Softmax 重参数化技巧的梯度估计器解决了原问题，并通过标准聚类基准测试证明了方法的有效性。

    Oct, 2019

  • 深度聚类用于视觉特征无监督学习

    本文介绍了 DeepCluster，一种聚类方法，它能够联合学习神经网络的参数和聚类分配，并应用于卷积神经网络在大型数据集上的无监督训练，取得了显著的性能提升。

    Jul, 2018

  • 使用预先训练模型探索深层图像聚类的极限

    本篇论文讲述了一种基于预训练特征提取器，通过自蒸馏训练聚类头来学习无标签图像分类的通用方法，并介绍了一种新的目标函数，利用一种变体的点间互信息和实例加权来学习图像之间的关联，以提高聚类准确性。最终使用自监督预训练视觉 Transformer 推进了在 ImageNet 上的聚类精度达到 61.6％。

    Mar, 2023

  • 可微分的深度聚类 + 聚类大小限制

    通过将 $k$-means 聚类算法重写为最优传输任务，并加入熵正则化，我们提出了一种全新的方法，其中嵌入是由深度神经网络执行的，表明与现有的基于软 $k$-means 的最新方法相比，我们的最优传输方法提供更好的无监督准确度，不需要预训练阶段。

    Oct, 2019

  • 可扩展核聚类：近似核 k-means

    本文提出了一种基于随机化的近似核 K-means 簇算法，其利用采样点与数据集中所有点之间的核相似性来近似聚类中心，实现了与传统低秩核近似聚类方案相比更好的聚类性能、更短的运行时间和更小的内存需求，最后利用集成聚类技术进一步提高算法性能。

    Feb, 2014

  • 如何将核方法扩展到与深度神经网络一样好

    通过基于随机投影导出的特征近似核函数，提出了有效地克服核方法计算复杂度的方法，并在图像识别和语音识别等大规模学习问题上成功地比较了核方法和深度神经网络的性能，同时克服了模型调节的困难。

    Nov, 2014

  • 深度聚类综述：从先验角度

    基于神经网络的深度聚类在分析高维复杂现实世界数据方面取得了巨大成功，然而现有工作往往忽视了深度聚类中先验知识的融合和利用，本文通过对各种先验知识进行分类，提供了全面的深度聚类方法综述，并提供了五个广泛使用的数据集的基准测试和方法性能分析，希望能够为深度聚类研究提供一些新的见解和启发。

    Jun, 2024

  • 可扩展多视图聚类通过显式核特征映射

    在本文中，我们引入了一个新的多视图子空间聚类的可扩展性框架，并提出了一种有效的优化策略，利用核特征映射来减少计算负担，同时保持良好的聚类性能。该算法的可扩展性意味着它可以应用于包含数百万数据点的大规模数据集，并在几分钟内使用标准机器完成。我们通过对各种规模的真实基准网络进行广泛实验，评估了我们的算法在支持多视图子空间聚类方法和属性网络多视图方法方面的性能。

    Feb, 2024

  • 基础数据集设计对少样本图像分类的影响

    本文系统地研究了训练数据变化对深度图像特征的质量和通用性的影响，并提出了关键实用问题，如在固定注释预算情况下，每类图像数量和类别数量之间的最佳权衡

    Jul, 2020

  • 从大到小的数据集：聚类算法选择的尺寸泛化

    在半监督环境中，通过引入聚类算法准确性的大小泛化概念，我们可以通过对较小的实例集进行评估，并保证在原始大型实例上具有最好准确性的算法也在小实例上具有最好准确性。

    Feb, 2024