IJCAIMay, 2022

利用互补并行自蒸馏提升多标签图像分类

PDF
TL;DR本文提出了一种名为平行自蒸馏 (PSD) 的多标签图像分类框架，它通过将原任务分解为多个子任务，并运用知识蒸馏来学习全局集成的类别，以此来提高 MLIC 模型的性能。在 MS-COCO 和 NUS-WIDE 数据集上进行的实验结果表明，我们的方法能够显着提高现有最先进方法的性能，并能够学习到既有类别特定的特征，又有共现特征。
multi-label image classificationparallel self-distillationco-occurrence graph partitiondis-occurrence graph partitionknowledge distillation
发现论文，激发创造
  • SILC：用自我蒸馏提升视觉语言预训练

    基于对 CLIP 模型的改进，本研究提出了 SILC 方法，通过引入本地到全局对应学习来预训练模型，有效提升了计算机视觉领域中的分类、检索和分割等任务的性能，取得了零样本分类、少样本分类、图像与文本检索、无样本分割以及开放词汇分割等方面的最新技术成果。

    Oct, 2023

  • 学习对比自我蒸馏以进行面向有限样本的超细粒度视觉分类

    在智能多媒体分析领域中，超细粒度视觉分类（Ultra-FGVC）在区分更大范畴内的复杂子范畴方面发挥着重要作用。本文提出 CSDNet，这是一个创新框架，通过有效探索对比学习和自我蒸馏来学习专为 Ultra-FGVC 任务设计的判别式表示。CSDNet 包括三个主要模块：子范畴特定的差异解析（SSDP）、动态差异学习（DDL）和子范畴特定的差异传递（SSDT），共同增强深度模型在实例、特征和对数预测层面上的泛化能力。实验结果表明，CSDNet 优于当前最先进的 Ultra-FGVC 方法，强调了其在解决 Ultra-FGVC 任务中的强大效力和适应性。

    Nov, 2023

  • 自监督学习与复合预文本类别差异的 SSL-CPCD 方法，为内窥镜图像分析改善泛化性能

    本文提出了一个新方法，即基于补充角度余弦相似度度量的补丁水平实体群差异化方法，它使得模型能够学习将类似的代表性补丁聚类在一起，从而提高它们在不同类别之间的分离能力。实验结果表明，我们的方法优于基线架构，对分类、检测和分割任务的准确度分别提高了 4%、2% 和 3%。此外，我们还证明了我们的方法相对于所有 SOTA 方法具有更好的泛化性，我们的泛化性评估提高了近 7%。

    May, 2023

  • 图文检索的动态对比蒸馏

    本研究提出了一种名为 DCD 的新型动态对比蒸馏框架，用于压缩大型 VLP 模型以改善跨模态图像文本检索（ITR）的效率和部署，其中涉及多模态对比学习、动态蒸馏等技术，实验证明在 MS-COCO 和 Flickr30K 基准上，将 DCD 策略应用于两种最先进的视觉语言预训练模型 VILT 和 METER 可加快推断至少 129 倍。

    Jul, 2022

  • 面向广义多阶段聚类：多视角自蒸馏

    本文提出了一种新型的多阶段深度多视图聚类框架，引入多视图自我蒸馏（DistilMVC）来提取标签分布的暗知识，从而消除过度自信的伪标签的影响，提高模型的泛化能力，并通过对比学习来探索多个视图的常见语义，通过最大化视图之间的互信息来获得伪标签，同时通过教师网络将伪标签蒸馏为暗知识，提升学生网络的预测能力，实验结果表明，与现有方法相比，我们的方法在真实多视图数据集上具有更好的聚类性能。

    Oct, 2023

  • 稳健的跨模态表示学习与渐进式自蒸馏

    通过交叉模态对比学习以及软图像 - 文本对齐等方法，改进了 CLIP 模型，在处理带有噪声的数据集时能更加高效地学习出具有鲁棒性的表示。经过对 14 个基准数据集的广泛评估，该方法在多种设置下表现均优于 CLIP，并且没有增加计算成本。此外，该方法还在自然分布偏移的鲁棒性测试中表现更好。

    Apr, 2022

  • 跨级多实例蒸馏用于自监督精细视觉分类

    通过多实例蒸馏在细粒度视觉表示中提出一个跨级多实例蒸馏框架以解决现有自我监督学习方法难以适应细粒度类别表示的问题，并在 CUB-200-2011、Stanford Cars 和 FGVC Aircraft 上的实验中展示出比同类方法高出至多 10.14％，比现有最先进的自我监督学习方法高出至多 19.78％的结果。

    Jan, 2024

  • 基于图匹配的多标签图像分类（GM-MLIC）

    本文提出一种基于图匹配的深度学习框架 GM-MLIC，将多标记图像分类问题作为实例 - 标签匹配选择问题来进行建模，其中图匹配方案被引入以挖掘实例和标签关系，并在构建的作业图上聚合和更新所有节点和边缘状态，最终得出每个实例 - 标签对的预测分数并用加权交叉熵损失优化。大量实验表明我们的方法的优越性。

    Apr, 2021

  • 从自监督学习中提取视觉先验

    本文提出一种新的两阶段流程，通过自监督学习和知识蒸馏来提高卷积神经网络模型在小数据集下的图像分类泛化能力，并使用新型边缘损失来更好地学习表示。

    Aug, 2020

  • 面向轻量级半监督语义分割的多粒度蒸馏方案

    提出一种基于多层级知识蒸馏技术的轻量级半监督语义分割模型，采用标注数据和未标注数据的协同蒸馏方案，结合像素级一致性约束、语义感知层次损失和内容感知区域损失等多层次损失策略，从多个角度对模型知识进行精炼，能够在消耗更少的运算资源和更小的模型体积下取得同类模型不可比的性能提升。

    Aug, 2022