Oct, 2018

基于师生学习的快速分割方法改进

PDF
TL;DR本文提出一种基于零、一阶知识的细分神经网络迁移学习教师 - 学生框架，将拥有更好表现的重型细分网络的知识转移到轻型细分网络上，提高了轻型网络的细分准确性，仍然保持快速特性，并经数据实验验证该框架可以显著提升学生网络性能。
segmentation neural networksteacher-student learning frameworktransfer learningimage segmentationcomputer vision
发现论文，激发创造
  • 基于分割指导降噪的学生 - 教师网络在异常检测中的应用

    本研究提出了一种名为 DeSTSeg 的改进型模型，它将教师网络、降噪学生编码器 - 解码器和分割网络集成到一个框架中，包括去噪过程和丰富的监督，以实现对视觉异常检测的高效处理，实验结果表明在工业检测基准数据集上取得了最新成果。

    Nov, 2022

  • FasterSeg：搜索更快的实时语义分割

    本文提出 FasterSeg 模型，通过神经架构搜索技术在新型多分辨率支路搜索空间上发现了性能卓越、速度更快的语义分割网络，并提出了一种解决低准确性、低延迟困境的方法，同时实现了教师 - 学生蒸馏机制，提高了学生网络的准确性。实验证明了 FasterSeg 的竞争力。

    Dec, 2019

  • 半监督脑病灶分割：一种适应均值教师模型

    本文介绍了一种用于脑部损伤分割的半监督学习方法，借助未标记的数据提高了卷积神经网络的性能，并通过实验在缺乏注释的数据上获得了良好的结果。

    Mar, 2019

  • 高效语义分割的知识适应

    针对语义分割中的计算效率和精度问题，本文提出一种知识蒸馏方法，利用预训练自编码器在转移潜空间内优化特征相似度，同时引入亲和力蒸馏模块以计算整个图像的远程依赖，将经典的深度 FCN 用于大步长下进行语义分割，实验证明，所提出的方法不仅可以提高小型 FCN 的精度，还可以使用较少的 FLOPS 训练出优秀的小型模型。

    Mar, 2019

  • 基于不确定性引导的 OCT 图像视网膜层半监督分割

    本文提出了一种利用半监督学习方法和贝叶斯深度学习进行医学图像分割的方法，改进了医学图像分割任务中，由于标记数据缺乏导致的训练深度学习方法所存在的问题，同时在视网膜层分割任务中表现出良好的性能。

    Mar, 2021

  • 有礼貌的教师：互相学习和伪标签阈值的半监督实例分割

    Polite Teacher 使用相互学习框架，结合有限的监督信息和无标定实例，通过 confidence thresholding 和 mask scoring 来过滤噪声，进而在 anchor-free detector 上提高了 8% 的 mask AP 值，这是关于半监督实例分割问题的首个 anchor-free 解决方案。

    Nov, 2022

  • 优秀的学生具备合作和可靠性：CNN-Transformer 语义分割的协同学习

    本文介绍了一种在线知识蒸馏框架，通过选择和交换可靠知识来协同学习基于卷积神经网络（CNN）和视觉变压器（ViT）的模型，以进行语义分割。经过大量实验验证，我们提出的框架在大幅领先于现有的在线蒸馏方法的同时，展示了 ViT 和 CNN 模型之间协同学习的有效性。

    Jul, 2023

  • 带有师生学习的极速语音分离模型

    该论文提出了一种使用教师 - 学生学习方法，采用逐层教学和目标偏移机制的超快速语音分离 Transformer 模型，相较于从头开始训练的小型 Transformer 模型，在 LibriCSS 数据集上，能够将语音分离的单词错误率（WER）降低 5% 以上，并利用更多的未标记语音数据实现超过 10% 的相对 WER 降低。

    Apr, 2022

  • 无知学生：基于鉴别性潜变量嵌入的学生 - 教师异常检测

    使用学生 - 老师框架，通过深度学习方法实现无监督异常检测和像素级别的异常分割，并在多个实验数据集上展示了显著的改进效果。

    Nov, 2019

  • 神经网络比人类评分者更具生产力：活跃混合用于从黑盒模型中进行数据效率知识蒸馏

    本研究探讨如何使用知识蒸馏从黑盒模型中训练神经网络进行视觉识别，使用混合和主动学习等方法，从而在节省计算和数据集成本的同时保持高性能。

    Mar, 2020