AAAIJan, 2022

TrustAL: 使用知识蒸馏的可信主动学习

PDF
TL;DR该研究通过提出一种新的知识蒸馏目标，并利用一种被称为 “一致性” 的概念来选择前身模型作为教师，以减轻遗忘的知识。新的教师模型能够避免标签的遗忘，提高标记数据的不确定性 / 多样性，并弥补由人类注释器产生的有缺陷的标签。
发现论文，激发创造
  • 鲁棒主动蒸馏

    通过游戏论的形式，提供了一种无需超参数，能够同时提供准确且充分信息的软标签，从而显著提高了现有主动学习与主动知识蒸馏方法的效果。

    Oct, 2022

  • 合作式知识蒸馏：一种学生无关的方法

    协作蒸馏（cooperative distillation）是一种新型的知识蒸馏方法，通过学生模型发现性能缺陷并寻找教师模型来产生反事实实例，提供了一种有效的方式传递知识，用于不同架构、算法及特征空间的学习者之间。该方法不仅在多个数据集上优于基线模型如迁移学习、自监督学习和多种知识蒸馏算法，还可以用于前述技术无法应用的情景。

    Feb, 2024

  • 学生大型语言模型是否能和老师一样表现出色？

    深度学习模型、知识蒸馏、软标签、温度缩放和模型性能在知识蒸馏中的关键决定因素及其潜力。

    Oct, 2023

  • 通过知识选择改进预训练语言模型的知识蒸馏

    本文提出了一种基于演员 - 评论家方法的知识蒸馏框架，旨在从教师模型中选择适当的知识来训练学生模型，实验结果表明该方法在 GLUE 数据集上优于常规基线模型。

    Feb, 2023

  • 面向可计算的深度主动学习

    该研究介绍了两种用于文本分类和标记任务的技术，可以显著减少深度学习中主动学习繁重的计算资源需求，通过伪标签和蒸馏模型实现更高性能的模型训练。

    May, 2022

  • 近期师生学习研究综述

    知识蒸馏是一种将深度神经网络的知识转移到更小更快的神经网络中的方法，近期变体包括教学助理蒸馏、课程蒸馏、遮罩蒸馏和解耦蒸馏等，致力于通过引入额外的组件或改变学习过程来提高知识蒸馏的性能。

    Apr, 2023

  • 适应性特征融合的知识蒸馏分类增量学习

    本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

    Apr, 2022

  • 基于预测共识的协作学习

    本文提出了基于蒸馏的方法，并采用信任加权方案，使用伪标签的无标签辅助数据促进合作学习，以达成对辅助数据的标签共识。我们证明了该方案相对于本地训练能显著提高模型性能，同时也可以识别和缓解对于众多模型的负面影响。在个体数据训练以及模型架构存在异质性的情况下，该方法表现得尤为有效。

    May, 2023

  • M2KD: 多模型、多层次知识蒸馏用于增量学习

    本文提出一种多模型和多级别知识蒸馏策略，通过直接利用之前的模型快照和辅助蒸馏等方式，在保留旧类知识的同时提升整体性能，有效解决了旧类性能下降的问题。

    Apr, 2019

  • 基于扰动的主动学习问答

    利用主动学习训练策略可以建立一个问题回答模型，以更小的注释成本实现，该策略选择最具信息量的未标记训练数据以有效地更新模型，该研究提出一种基于扰动的主动学习采集策略，并证明其比现有常用策略更有效。

    Nov, 2023