Jan, 2024

深度聚类中的扩散采样和硬度感知自蒸馏

PDF
TL;DR本文提出了一种新颖的端到端深度聚类方法，采用了扩散采样和硬度感知自蒸馏策略（HaDis），通过扩散采样对实例进行对齐以提高簇内紧密度，引入硬度感知自蒸馏机制来提高样本权重的自适应调整能力，同时结合原型对比学习来增强簇间可分性和簇内紧密度，实验证明了 HaDis 方法在五个挑战性图像数据集上相比现有技术具有更优的聚类性能。
deep clusteringdiffused samplinghardness-aware self-distillationintra-cluster compactnessprototypical contrastive learning
发现论文，激发创造
  • 分层自蒸馏下的散点云理解的联合学习

    本文提出了一种端到端的架构，用于处理和识别部分点云，具有层级自蒸馏和在部分分割任务上具有卓越性能的优势。

    Dec, 2023

  • 数据集精简遇见可证明的子集选择

    本文提出了一种在数据集精馏中初始化样品集的可证明的基于采样的方法，并将数据子集选择的思想与数据集精馏相结合，通过相对贡献的实例的概念优化性能。

    Jul, 2023

  • 图像检索的深层哈希蒸馏

    本文提出了一种基于数据增强的哈希检索方法，通过自我蒸馏来最小化哈希码与原始特征之间的差异，引入基于哈希代理的相似度学习和二元交叉熵损失来提供优质哈希码，构建了一个深度哈希框架，实现了目前最先进的检索结果。

    Dec, 2021

  • 基于样本自我蒸馏的半监督域自适应

    本研究提出了一种基于样本对的半监督领域自适应方法，该方法通过自蒸馏生成辅助特征，并通过最小化学生和辅助之间的输出差异来训练模型以减少领域之间和领域内的差异，在标准基准上实验结果表明该方法有效地减少了差异，并取得了明显的改进。

    Nov, 2021

  • DistillHash：无监督深度哈希，通过蒸馏数据对

    提出了一种新颖的深度无监督哈希模型 DistillHash，在信任相似信号的数据对中进行蒸馏，并采用贝叶斯学习框架从蒸馏的数据集中学习哈希函数，实验结果显示 DistillHash 达到了最先进的搜索性能。

    May, 2019

  • 面向广义多阶段聚类：多视角自蒸馏

    本文提出了一种新型的多阶段深度多视图聚类框架，引入多视图自我蒸馏（DistilMVC）来提取标签分布的暗知识，从而消除过度自信的伪标签的影响，提高模型的泛化能力，并通过对比学习来探索多个视图的常见语义，通过最大化视图之间的互信息来获得伪标签，同时通过教师网络将伪标签蒸馏为暗知识，提升学生网络的预测能力，实验结果表明，与现有方法相比，我们的方法在真实多视图数据集上具有更好的聚类性能。

    Oct, 2023

  • ISD: 迭代相似性蒸馏的自监督学习

    通过对自我监督学习中的对比学习方法进行改进，引入了一种使用负样本的软相似度而不是二进制关系的无监督学习算法，可更好地处理不平衡的无标签数据并获得与最先进模型类似的结果。

    Dec, 2020

  • 得分蒸馏采样与学习的流形校正

    Score Distillation Sampling 方法使用图像扩散模型解决优化问题，我们分析了其损失函数并提出有效修复方案，通过定量和定性实验验证了新的损失公式的多样性和有效性。

    Jan, 2024

  • 迭代式图形自蒸馏

    提出一种基于对比学习的迭代图形自蒸馏方法（IGSD），可以在无监督情况下自动学习图形级别的表示，并且将其扩展到半监督情况和自训练中，实验表明，在各种图形数据集中，IGSD 在无监督和半监督设置下均获得了显著的性能提升，证明其优越性。

    Oct, 2020

  • 自监督异常检测：自蒸馏和负采样

    本文利用自监督技术与自对比学习方法，对比辅助数据进行负样本采样，并在可视化领域中创造新的无监督 out-of-distribution 检测基准。

    Jan, 2022