Jun, 2023

自我知识蒸馏用于外科手术阶段识别

PDF
TL;DR本文通过引入自我知识蒸馏框架来改善手术阶段识别模型，实验结果表明，基于这一框架的模型在 4 种流行的 state-of-the-art 方法上的准确度和 F1-score 分别提高了 3.33％和 3.95％，并且即使使用 75％的训练集，其性能仍与完整训练集上基线模型的性能相当。
发现论文，激发创造
  • 一种新颖的自我知识蒸馏方法，利用孪生表示学习进行行为识别

    本文提出了一种新的自知识蒸馏方法，通过孪生表示学习来最小化给定样本的两个不同视图的表示向量之间的差异，并利用软标签蒸馏和表示向量的相似性，因此能够在同一数据点的各种视图中生成更一致的预测和表示，并在各个标准数据集上验证了其显着提高精确度的效果。

    Sep, 2022

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • 通过自我知识蒸馏提高自我：特征细化

    本文提出了一种名为 FRSKD 的自我知识蒸馏方法，利用辅助自主教师网络传输分类器网络的精细化知识。该方法可应用于分类和语义分割等多样化任务，并证明其在各种任务和基准数据集中的性能提升

    Mar, 2021

  • 层次自监督增强知识蒸馏

    本文提出了一种自监督增强的任务，通过辅助分类器在分层中间特征图中生成多样化的自监督知识，并执行一对一的转移来全面教授学生网络，从而改善表示能力而不失去正常分类能力。在多个网络对中，本方法都显著超过了之前的最佳结果，平均改进了 2.56％（CIFAR-100）和 0.77％（ImageNet）。

    Jul, 2021

  • 轻量级自我知识蒸馏与多源信息融合

    提出了一种利用多源信息进行自知识蒸馏的轻量级框架，其中包括反向引导方法和形状正则化方法，其在各种数据集和模型上的综合实验中表现优于基线和最先进的自知识蒸馏方法，同时具有计算效率和鲁棒性。

    May, 2023

  • 利用自知识蒸馏引导帧级 CTC 对齐

    通过引入自知识蒸馏方法，解决了自动语音识别中教师 - 学生模型帧级对齐不一致的问题，该方法使用共享编码器层并将子模型作为学生模型，提高了资源效率和性能，并通过实验证明了所提方法通过减少对齐不一致来改善性能。

    Jun, 2024

  • 多任务多尺度对比知识蒸馏在高效医学图像分割中的应用

    本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

    Jun, 2024

  • 从人脸分类到对齐和验证的知识转移模型蒸馏

    本文通过在人脸识别领域，将知识蒸馏模型迁移到非分类任务中，提出了一种新的模型蒸馏方法；实验证明此方法可使蒸馏后的模型在人脸对齐和人脸验证任务中达到与原模型相当的性能，并在一些具体的压缩比下超越原模型。

    Sep, 2017

  • 自知力蒸馏在自然语言处理中

    本文提出一种基于深度学习模型自身的软目标概率的自我知识蒸馏方法，在两种基本的 NLP 任务（语言模型和神经机器翻译）上部署实验，并表明了该方法的性能提高。

    Aug, 2019

  • KDAS3: 基于注意力监督和对称结构引导的结直肠息肉分割的知识蒸馏

    通过知识蒸馏、注意力监督和对称引导方法，实现从较大的教师模型向更小的学生模型进行知识转移，达到近似于最先进方法的竞争性结果。

    Dec, 2023