ACLJun, 2024

文本分类的自我调节无数据知识融合

PDF
TL;DR该论文提出了一种轻量级的学生网络，通过多个预训练模型进行知识传递，以在无法访问原始训练数据的情况下训练一个高效的学生模型。使用提出的 STRATANET 建模框架，该方法在不同的文本分类数据集上得到了显著优于其他基准方法的结果，同时满足数据驱动和无数据约束。
pre-trained text modelsknowledge transferdata-free knowledge amalgamationstratanettext classification
发现论文，激发创造
  • 基于 Group-Stack Dual-GAN 的无数据知识融合

    本文提出了一种无数据训练的知识组合策略，通过构建群堆生成对抗网络来生成多任务学生网络，用于多标签分类等任务，与一些完全受监督方法相比，该方法在不使用任何训练数据的情况下取得了惊人的竞争结果。

    Mar, 2020

  • 综合分类知识的融合

    本研究提出了一种名为知识聚合的新型模型复用任务，旨在从多个训练好的教师网络中提取知识，学习一种能够处理综合分类的轻量级学生模型，取得了很好的结果。

    Nov, 2018

  • 通过自适应知识融合从异质教师中定制学生网络

    本篇文章探讨了如何利用预先训练好的深度网络来训练一个个性化的学生网络，以解决用户选择的任务，文章提出了一种双步骤策略，其中第一步从具有相同子任务的异构教师中提取任务特定知识，然后将提取的知识混合，来构建学生网络，以自我的方式从带有最小预测模糊性的教师那里学习，实验结果表明基于此种自适应知识归纳的学生网络的性能甚至优于教师。

    Aug, 2019

  • 宽容专家的教师：与教师无关的无数据知识蒸馏

    无数据知识蒸馏方法 (TA-DFKD）通过为生成器分配宽松的专家角色，而非严格的监督者角色，以更健壮和稳定的性能，实现了在各种教师模型下的蒸馏，并超越了现有的无数据知识蒸馏方法。

    Feb, 2024

  • 通过共同特征学习从异构网络中融合知识

    本研究使用预先训练的网络作为示范，旨在学习一种能够整合各种异构结构教师的多才多艺、轻量级的学生模型，而无需获取任何人工注释信息。为此，提出了一种通用的特征学习方案，所有教师的特征都被转换成共同的空间，并且要求学生模型模仿他们的所有特征，以使完整的知识得以融合，并在一系列基准测试中证明所提出的方法的良好性能。

    Jun, 2019

  • 学生成为大师：联合场景解析、深度估计等知识融合

    本论文提出一种新的深度学习模型重用任务，利用预训练的教师模型在不需要人工标注的情况下训练一个轻量级和通用的学生模型，通过将合并特征投影到每个教师的领域并计算损失来学习学生模型。该方案在多项基准测试中实现了非常鼓舞人心的结果，甚至超过了教师模型在其自己的专业领域中的表现。

    Apr, 2019

  • 学会在获取知识的同时保持知识：对抗非对抗数据知识蒸馏中的分布偏移

    提出一种数据无关知识蒸馏的框架，称为学会保留和获得，通过元学习的方式将知识获取和保留视为元培训和元测试，并确定知识保留和获得任务之间的隐含对齐因素，从而为这两个任务强制实施共同的梯度方向。

    Feb, 2023

  • 对比式知识融合用于无监督图像分类

    知识融合旨在学习一个紧凑的学生模型，以处理多个针对各自任务的教师模型的联合目标。我们提出了一种新颖的对比知识融合（CKA）框架，通过引入对比损失和对齐损失来实现类内凝聚和类间分离，以使学生能够学习多个异构教师自任务的适当决策边界。

    Jul, 2023

  • 基于 Digital Twin 的异构联邦学习知识蒸馏框架

    本文提出了一种基于知识蒸馏的联邦学习训练框架，利用数据孪生技术在服务器上训练大型教师模型，解决设备资源受限和异构性问题，并将联合问题建模为混合整数规划问题，使用 Q - 学习进行模型选择和本地或服务器训练决策，并基于优化分配用户的资源，仿真结果显示该方法显著提高了用户平均精度，同时减少了总延迟。

    Mar, 2023

  • 使用 Transformer 实现物体检测知识整合

    本文探讨了基于 Transformer 的物体检测模型用于知识汇集的更有效的方案，提出了序列级别和任务级别两个方面的知识汇集，其中利用教师序列拼接生成提示进行序列级别的知识汇集，而利用软目标进行任务级别的知识汇集，实现了快速学习多样化检测任务并达到或超越教师的性能。

    Mar, 2022