May, 2024

关系建模与蒸馏用于带噪声标签的学习

PDF
TL;DR通过自我监督学习建模样本之间的关系，并采用知识蒸馏的方法增强对潜在关联的理解，从而缓解模糊标签的影响，该研究提出了一个处理噪声标签的关系建模和蒸馏框架，该框架能够学习具有噪声的数据的判别性表示，并取得比现有方法更优越的性能。
learning with noisy labelsrobustness of modelsrelation modeling and distillation frameworkself-supervised learningknowledge distillation
发现论文，激发创造
  • 利用关系知识蒸馏提升对比学习

    通过引入异构的 teacher 和 relation-wise 对比学习，我们成功地解决了在轻量级模型中进行 instance-wise 对比时在语义空间中容易崩溃的问题，并通过 AlexNet 线性评估验证了该方法的有效性，达到了接近于有监督学习的 50.5% 的水平。

    Dec, 2021

  • 使用蒸馏技术从噪声标签中学习

    提出适用于学习有噪声标签的统一蒸馏框架，利用包括一个小的干净数据集和知识图谱中的标签关系来 “对冲” 学习风险，并提出了一套新的基准数据集，用于评估学习有噪声标签的任务。实证研究证明了我们提出的方法在所有领域中的有效性。

    Mar, 2017

  • CoupleFace：关系对于人脸识别蒸馏很重要

    本文提出了一种名为 CoupleFace 的有效人脸识别蒸馏方法，通过引入互动关系蒸馏（MRD）到现有蒸馏框架中，使得学生模型也能够充分利用互动关系知识，并通过丰富实验结果证明了 CoupleFace 在多个基准数据集上的有效性。

    Apr, 2022

  • 通过双流样本蒸馏实现鲁棒性噪声标签学习

    通过设计名为 Two-Stream Sample Distillation（TSSD）的简单而有效的样本选择框架，来提取更多高质量具有干净标签的样本，改进网络训练的鲁棒性。实验证明，我们的方法在四个基准数据集上取得了与竞争对手相比的最先进结果。

    Apr, 2024

  • 噪声标签学习中的表征与分类器解耦

    本文提出了一种名为 REED 的新方法来解决卷积神经网络在存在噪声标签时训练的挑战，该方法通过无监督学习获取表示，通过分类器的半监督自训练解决噪声标签学习问题，并联合半监督重新训练表示和分类器，实现了对噪声标签的鲁棒性，大量实验结果表明，该方法在高噪声水平下可以显著击败现有的最先进方法。

    Nov, 2020

  • 深度神经网络的表示距离学习

    该研究提出了一种称为 “代表空间距离学习” 的方法，该方法可用于将一种深度神经网络模型学习到的内部表现空间应用到另一种模型之中，通过该方法可将学生模型的表现空间序列逐步拟合为更接近于教师模型表现空间的序列。通过将学生模型的表现空间逐渐接近于教师模型的表现空间，使用该方法可以显著提高可视化分类性能。未来该方法可以应用于将深度神经网络的任务约束和生物大脑的约束相结合，从而构建出可以复制生物大脑内部表现空间的深度神经网络模型。

    Nov, 2015

  • 视频物体检测的关系蒸馏网络

    该研究提出了关系蒸馏网络 (RDN) 的新架构，通过跨物体的空时上下文进行聚合和传播，从而改进了目标检测和跨帧盒子链接，并在 ImageNet VID 数据集上实现了最佳 mAP。

    Aug, 2019

  • 关系知识蒸馏

    该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

    Apr, 2019

  • 利用强化学习从嘈杂数据中进行关系分类

    本文提出了一种新的基于句子级别的关系分类模型，通过强化学习筛选高质量句子并将其输入到关系分类器中，实现了从嘈杂数据中对关系进行分类的效果优化。

    Aug, 2018

  • I$^2$MD：带有内外模态相互蒸馏的三维动作表征学习

    介绍了一种新的互模态和内模态的相互蒸馏框架，通过改进跨模态交互和解决相似样本干扰问题，实现了自监督学习，在三个数据集上取得了新的记录。

    Oct, 2023