基于神经网络的深度聚类在分析高维复杂现实世界数据方面取得了巨大成功，然而现有工作往往忽视了深度聚类中先验知识的融合和利用，本文通过对各种先验知识进行分类，提供了全面的深度聚类方法综述，并提供了五个广泛使用的数据集的基准测试和方法性能分析，希望能够为深度聚类研究提供一些新的见解和启发。

Jun, 2024

通过使用结构性归纳偏差和先验知识，在机器人感知问题中提出了多种先验知识的来源和编码方法，以解决物体定位、决策制定和场景理解等挑战性问题。

May, 2024

本文研究深度神经网络的正则化机制，提出其通过提取类别样本的有意义聚类来实现隐含的正则化，证明这种聚类测度可以准确预测不同超参变化下的泛化性能。

Mar, 2021

该综述强调了先验选择对贝叶斯深度学习的重要性，并概述了各种先验方法及利用数据进行先验学习方法，以期激励实践者们更加谨慎地思考其模型的先验规范。

May, 2021

研究探讨神经网络训练中的设计选择如何影响隐藏表示中形成的聚类，发现数据集的属性以及网络内部结构对聚类性能有重要影响，而使用预训练模型进行聚类时，预先训练于子类标签的模型表现出更好的聚类性能，而比较意外的是，视觉变换器的子类聚类能力比 ResNet 低。

Nov, 2023

通过使用不同于以往的特征先验，可以改善对类别不平衡数据预训练时的表征学习结果，具体应用于 Masked Siamese Networks 方法。

Oct, 2022

本研究针对自监督学习提供了首个理论分析，其中包括来自模型类祖产的归纳偏差的影响。我们特别关注对比学习 - 一种在视觉领域广泛使用的自监督学习方法。我们发现，当模型具有有限的容量时，对比表示将恢复与模型结构兼容的某些特殊聚类结构，但忽略数据分布中的许多其他聚类结构，从而捕捉了更加现实的情景。我们将理论实例化为几个合成数据分布，并提供实证证据来支持该理论。

Nov, 2022

本研究提出了一种使用深度学习进行无监督非参数聚类的方法，首先利用深度学习进行特征表示和降维，然后在最大边际框架下进行非参数聚类，最后在深信念网络中优化模型参数。实验结果表明我们的方法优于现有竞争方法。

Jan, 2015

本文提出了一种基于先验学习的新方法，用于提高深度神经网络的泛化和不确定性估计，该方法利用可伸缩和结构化的神经网络后验作为具有泛化保证的信息先验。我们的学习先验在大规模上提供了具有表现力的概率表征，可以看作是在 ImageNet 上预训练模型的贝叶斯对应物，并进一步产生非平凡的泛化界限。我们还将这个想法扩展到了一个连续学习的框架中，其中我们的先验的有利特性是可取的。我们的技术贡献是（1）Kronecker 积分和求和计算，以及（2）导出和优化可追踪的目标，从而导致改进的泛化边界。从实证上来说，我们详尽地展示了这种方法用于不确定性估计和泛化的有效性。

Jul, 2023

本文提出了一种新的深度学习框架，可以在 instance 和 cluster 级别预测可解释的聚类分配，并在基因组序列、医疗记录或图像等数据上验证了该方法的可靠性和可解释性。

Jun, 2023