Oct, 2023

惊人的收益及其发现之处：关于任何预训练模型之间普适知识转移存在和前景

PDF
TL;DR为了训练深度网络，需要在体系结构、数据增强或优化等方面作出各种设计决策。本文通过使用由数千个在 ImageNet 等经典数据集上训练的模型组成的公共模型库，在预训练模型的任意配对中发现了不同模型从数据中学习出独特的特征集。我们研究了在没有外部排名的情况下，是否能够在不降低性能的情况下从一种模型中转移这种 “互补” 知识到另一种模型，同时将强大、具有相似性能或较弱模型中的额外知识结合起来。通过大规模实验，我们揭示了标准知识蒸馏技术的缺点，并提出了一种更加通用的通过数据划分实现几乎所有预训练模型之间成功转移的方法，也证明了无监督转移的可能性。最后，我们评估了基本模型属性对成功的模型无关知识转移的可扩展性和影响。
training variationspretrained modelsdata contextknowledge transfermodel properties
发现论文，激发创造
  • 学习什么和在哪里转移

    本研究提出了一种基于元学习的转移学习方法，可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置，该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。

    May, 2019

  • 预训练模型知识蒸馏的实用洞见

    通过对知识蒸馏 (KD) 技术的综合比较研究，本文填补了目前研究中的空白，揭示了在协作与联邦学习框架中利用预训练模型中的知识蒸馏技术的最佳超参数设置，通过降低通信回合和加速训练过程，提高模型性能的实用框架。

    Feb, 2024

  • 生成可传递对抗样本的常识学习

    本文研究黑盒攻击的一种重要类型 —— 基于转移的对抗攻击，并提出了一种通用知识学习框架，通过构建多教师框架来减少模型特定特征，获得更好的输出分布，加强对抗转移性能，同时通过对学生和教师模型之间的梯度施加约束来进一步缓解输出不一致问题和增强对抗转移性能。实验表明，所提出的方法可以显著提高对抗转移性能。

    Jul, 2023

  • 为预训练语言模型提供常识知识转移

    本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

    Jun, 2023

  • GAN 转移：从有限数据生成图像

    本研究探讨了利用预训练模型的知识迁移学习应用于生成式深度网络中的领域自适应，并发现该方法可以在目标数据有限时缩短收敛时间，显著提高生成图片的质量。

    May, 2018

  • 深度协作学习的知识转移图

    本文提出了一种新的基于图的知识迁移方法，其中引入了知识迁移图和四个门函数来控制梯度，以实现更加灵活和多样化的迁移方式。实验结果表明，该方法在 CIFAR-10、-100 和 Tiny-ImageNet 数据集上实现了显著的性能改进，并能够发现出色的图结构。

    Sep, 2019

  • 利用模型库中丰富的知识进行领域通用性的探索和利用

    本文提出一种方法，利用编码表示中的多样性和相关性变化特征，结合不同预训练模型获得更好的极端样本识别性能。通过实验结果验证了该算法的有效性。

    Jun, 2023

  • 探究深度表示的可迁移性

    该研究试图从泛化、优化和可转移性的角度理解神经网络的迁移能力，发现模型的可转移性与目标数据集的相似度、训练阶段以及转移参数的一些特性相关，包括使损失函数更加有利，加快和稳定训练过程。

    Sep, 2019

  • 知识作为先验：跨模态知识泛化在无优先知识数据集上

    本文提出了一种名为 “跨模态知识普适” 的新方法，将一个以高级模态（教师）训练的模型中的知识传递给以较弱模态（学生）训练的另一个模型，同时不需要在教师数据集中配对数据。通过在参数上建模知识，来将源数据集中积累的跨模态知识泛化到目标数据集，最终在标准基准数据集上展示了 3D 手势估计的竞争性表现。

    Apr, 2020

  • 深度学习中的可迁移性研究

    本文介绍深度学习中的迁移学习，包含核心原理和方法、面临的基本问题、未解决的问题以及工具库和基准测试等方面的内容。

    Jan, 2022