Apr, 2023

在严格预算下从相近任务中提炼知识以进行迁移学习

PDF
TL;DR本文提出了一种名为 DistillNearest 和 DistillWeighted 的多源蒸馏方法，通过利用任务相似度度量来选择单个合适的源模型以及加权多源蒸馏方法，解决了在资源受限制的情况下，通过有限标签获取高效而准确识别系统的问题。通过实验验证表明，这两种方法在准确性、计算效率等方面优于传统的迁移学习和半监督学习方法。
transfer learningsemi-supervised learningcomputer visiondistillationmulti-source distillation
发现论文，激发创造
  • 利用蒸馏调整模型以适应信号退化

    本文研究了如何通过计算机图形渲染技术生成合成数据来进行知识蒸馏和领域适应，从而提高低分辨率图像、非定位对象和线条绘图等领域的识别性能，并通过可视化方法解释该技术的工作原理及其与现有文献的关联。

    Apr, 2016

  • 从人脸分类到对齐和验证的知识转移模型蒸馏

    本文通过在人脸识别领域，将知识蒸馏模型迁移到非分类任务中，提出了一种新的模型蒸馏方法；实验证明此方法可使蒸馏后的模型在人脸对齐和人脸验证任务中达到与原模型相当的性能，并在一些具体的压缩比下超越原模型。

    Sep, 2017

  • 通过任务蒸馏进行领域适应

    使用图像识别数据集作为源域和目标域之间的桥梁，通过任务蒸馏框架，在不同仿真器之间成功地传输导航策略，并在传统领域适应基准上展现出有前途的结果。

    Aug, 2020

  • 数据集压缩

    本文中，我们探讨了数据集蒸馏的另一种形式，即基于固定模型的数据集蒸馏，通过使用少量的数据点近似原始数据的训练模型，此方法相对于其他方法具有优势，并在多个数据集上进行了实验证明

    Nov, 2018

  • XtremeDistilTransformers：任务无关蒸馏中的任务转移

    本文提出了一种任务不可知的知识蒸馏框架 ——XtremeDistilTransformers，利用任务特定方法学习出一个通用模型，可以应用于任意语言和任务，并研究了蒸馏过程中多个源任务、扩充资源和模型架构的可迁移性。在多项任务中验证了该模型的性能，并发布了三个蒸馏的任务不可知检查点，其中最小的检查点包含 1300 万个参数，实现了多项任务的 SOTA 表现。

    Jun, 2021

  • 探索基于样本原型的软标签数据蒸馏对不平衡数据分类的潜力

    该研究以实际数据集为基础，探索一种简单的数据精炼技术在原型软标签精炼中的潜力，通过集成优化步骤以提高分类准确性，并对不平衡度不同的数据集进行实验验证，发现该方法在数据精炼和数据增强方面的能力。

    Mar, 2024

  • 学习聚类以在不同领域和任务间进行转移

    该论文提出了一种新的方法，将迁移学习视为学习聚类的问题，通过相似性信息的迁移学习和聚类网络的学习，实现了跨领域和跨任务的转移学习。作者使用了相似性网络和两种新方法来探究无监督域自适应和跨任务学习，并在该领域展现了最新成果，将其与其他算法进行比较。同时，该方法可以应用于不同的数据集，从而增加了灵活性和稳健性，并通过进一步与域适应法相结合，获得了更好的性能。

    Nov, 2017

  • 任务自适应正则化下的物体检测蒸馏

    该论文提出了一种基于知识蒸馏的对象检测模型微调方法，采用区域提议共享机制和自适应知识转移方法，根据模型的不同表现区分性能好坏，同时使用知识衰减策略帮助提高模型的泛化性能。实验结果表明，该方法在 COOC 数据集上取得了比基线模型更好的检测结果。

    Jun, 2020

  • 迈向更可靠的迁移学习

    本文提出了一种新的多源传递学习方法，它结合了源目标相似性和不同可靠性源之间的关系，并提出了一个综合的主动传递学习框架，包括分布匹配和不确定性采样，在合成和真实数据集上进行了广泛的实验，表明其在多项基准测试中优于其他现有模型。

    Jul, 2018

  • 基于差异的领域可迁移性用于零样本分类

    本文探讨使用统计量来衡量不同任务间的相似性，从而减少 fine-tuning 的测试所需的任务对数量，并在 58 个任务和 6600 多个任务对组合上实验证明其可以提高任务的效率并显著降低运行时间。

    Feb, 2023