Apr, 2022

BERT 迁移中基于中心核对齐的特征结构蒸馏

PDF
TL;DR研究了应用基于中心核对齐的特征结构蒸馏方法来有效转移三种类型的表示结构以提高 GLUE 数据集上 Bidirectional Encoder Representations from Transformers (BERT) 任务的表现，结果表明所提出的方法可以提高性能。
knowledge distillationfeature structure distillationglobal inter-feature structureslanguage understandingbert
发现论文，激发创造
  • 基于图的知识探索：通道关系图的多层特征蒸馏

    基于图知识的蒸馏方法结合多级特征对齐策略和注意力引导机制，利用谱嵌入的技术将学生模型的特征空间与教师网络的关系和结构复杂性相融合，通过全局视角理解和利用特征集之间的动态关系，从而更准确地模仿教师模型的复杂结构性依赖关系，实验证明该方法在 CIFAR-100、MS-COCO 和 Pascal VOC 数据集上的效果优于以往的特征蒸馏方法，证明其有效性和适用性。

    May, 2024

  • 目标感知 Transformer 的知识蒸馏

    本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

    May, 2022

  • 双向蒸馏的多视角特征表示在对话生成中的应用

    本文提出一种基于知识蒸馏的对话模型训练框架，通过分组多任务学习、多视角特征蒸馏和双向蒸馏等策略，找到多数据集共性知识以提高模型泛化性能。实验结果表明该框架可以有效地提高模型的泛化性能，而不影响训练效率。

    Feb, 2021

  • 结构知识蒸馏：可行地蒸馏结构预测器的信息

    该文提出了一种可用于解决结构化预测问题的知识蒸馏目标函数的分解形式，该分解形式对于许多师生模型的典型选择是可处理的。具体而言，它展示了四种不同情况下序列标注和依赖解析模型之间的结构知识蒸馏的可处理性和实际有效性。

    Oct, 2020

  • 从人脸分类到对齐和验证的知识转移模型蒸馏

    本文通过在人脸识别领域，将知识蒸馏模型迁移到非分类任务中，提出了一种新的模型蒸馏方法；实验证明此方法可使蒸馏后的模型在人脸对齐和人脸验证任务中达到与原模型相当的性能，并在一些具体的压缩比下超越原模型。

    Sep, 2017

  • 通过知识选择改进预训练语言模型的知识蒸馏

    本文提出了一种基于演员 - 评论家方法的知识蒸馏框架，旨在从教师模型中选择适当的知识来训练学生模型，实验结果表明该方法在 GLUE 数据集上优于常规基线模型。

    Feb, 2023

  • 基于注意力特征匹配的知识蒸馏

    本文提出一种利用基于注意力的元网络来实现特征蒸馏的方法，该方法在不手动选择链接的情况下有效地控制了所有可能的特征对的蒸馏强度，从而提供了更好的模型压缩和迁移学习任务的性能。

    Feb, 2021

  • 对齐蒸馏：神经机器翻译中用于知识蒸馏的可训练注意力对齐

    通过学生模型与教师模型的自适应对齐，'Align-to-Distill'（A2D）策略在 Transformer 架构的知识蒸馏中解决了特征映射问题，实验证明 A2D 相较于 Transformer 基准模型，在 WMT-2022 的 De->Dsb 和 WMT-2014 的 En->De 翻译任务中分别获得了 + 3.61 和 + 0.63 BLEU 得分的提升。

    Mar, 2024

  • 稠密预测的结构化知识蒸馏

    该论文研究了如何将大型神经网络中的结构信息转移到紧凑型神经网络中，以用于计算机视觉中的密集预测任务，提出了从大型神经网络到紧凑型神经网络的结构蒸馏算法，并通过三个密集预测任务的实验展示了方法的有效性。

    Mar, 2019

  • 知识蒸馏对迁移学习的影响

    在本研究中，我们提出了一种将知识蒸馏应用于迁移学习的机器学习架构，称为 TL + KD，并对它与传统 TL 的图像分类效果进行了量化和定性比较。结果表明，在微调过程中，使用较大的教师网络提供指导和知识可以改善学生网络以实现更好的验证性能，同时研究了不同场景下的性能表现。

    Oct, 2022