Dec, 2023

递归蒸馏用于开放集分布式机器人定位

PDF
TL;DR提出了一种适用于开放式分布式机器人系统的新型训练方案，通过在未知地点遇到的其他机器人的协助下，构建伪训练数据集并用于学生模型的持续学习，在处理各种类型的开放式教师时只引入了最少的假设，包括不合作、无法训练（例如图像检索引擎）或黑盒教师（即数据隐私）。通过使用具有挑战性的无数据递归蒸馏场景中的排名函数作为实例，研究了这种通用模型，其中经过训练的学生可以递归地加入下一代开放教师集合。
发现论文，激发创造
  • 通过师生无数据知识迁移训练未见过的陌生场所的自定位模型

    该研究提出了一种适用于开放世界分布式机器人系统的新型训练方案，其中一个机器人（学生）可以向在陌生地点遇到的其他机器人（教师）寻求指导，通过设计一个出色的学生 / 提问者与教师的交互，得到有效的问答序列，用作学生自定位模型的伪训练数据集。该方法在普通递归知识蒸馏场景中表现出稳定一致的性能提升。

    Mar, 2024

  • 多层知识蒸馏用于文本领域中的外部分布检测

    本研究实现了一种多级知识蒸馏方法，将自监督学习与基于语言模型的强制学习相结合，以生成新颖的 OoD 检测方案，并在多个基准数据集上实现了最新的性能。

    Nov, 2022

  • 重新审视目标检测的知识蒸馏

    该研究提出了一种基于伪标签学生模型训练和 fine-tuning 的目标检测蒸馏方法，可以实现使用未标注的数据提高模型性能，同时减少标注数据的需求，还可以用于领域自适应。实验证明该方法能够取得更好的目标检测性能。

    May, 2021

  • SoTeacher: 面向学生的教师网络训练框架用于知识蒸馏

    提出一种基于学生的教师网络训练框架 SoTeacher，通过引入 Lipschitz 正则化和一致性正则化改善知识蒸馏算法中教师网络的训练方法，实验证明该方法适用于几乎所有的教师 - 学生架构对，并且可以显著、一致地提高学生的性能。

    Jun, 2022

  • 高效低计算自监督视觉模型的简单配方

    本文介绍了一种简单的自监督蒸馏技术，可以培训高性能低计算的神经网络，RoB 通过从大型自监督教师模型到小型学生模型的知识蒸馏来实现，适用于许多架构。实验结果表明 RoB 在 ImageNet 数据集上表现良好，且在五个下游转移任务上的表现与监督蒸馏的结果相当或更好。

    Jan, 2023

  • 数据蒸馏：走向全监督学习

    通过数据精炼方法，利用所有可用的标记数据和互联网规模的未标记数据，从而超过单纯使用有标记数据的最新颖全监督式监督学习方法。

    Dec, 2017

  • 知识蒸馏与自监督相遇

    本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。

    Jun, 2020

  • 生成对抗模拟器

    在强化学习中，我们提出了一种无模拟器知识蒸馏的方法，通过重新初始化数据生成器，利用对抗损失来显式地处理每个输出类的多个观察值，以找到尽可能多的实例，从而改进了现有技术在 MNIST、Fashion-MNIST、CIFAR-10 等基准数据集上的学习情况，同时具体解决了涉及多输入模式时的问题。

    Nov, 2020

  • TWIST: 教师 - 学生世界模型蒸馏用于高效的模拟到真实转化

    使用仿真注入的图像观测作为特权信息，通过教师 - 学生模型蒸馏，本文提出了 TWIST 方法，在基于模型的强化学习任务中实现高效的仿真到实际转移，并在仿真和实际机器人任务中表现出更高的样本效率和任务性能。

    Nov, 2023

  • 从深度姿态回归网络中提取知识

    本研究提出了一种从深度姿态回归网络中提取知识以实现高效视觉测距的方法，该方法通过 Attentive Imitation Loss (AIL) 的方式注入教师损失作为置信度评分，并使用 Attentive Hint Training (AHT) 方法进行中间表示的学习，以实现知识的迁移。经实验证明，我们可以通过最多 92.95% 的参数减少和 2.12 倍的计算速度来使得学生网络的预测结果保持接近于教师网络。

    Aug, 2019