Mar, 2021

跨多样化外观领域和任务类型的迁移学习影响因素

PDF
TL;DR本文通过对多种不同的图像领域和任务类型进行超过 2000 个转移学习实验，并系统地分析其对转移学习性能的影响，得出了以下几点结论：（1）对于大多数任务，存在一种源任务显著优于 ILSVRC'12 预训练；（2）图像领域是实现积极转移的最重要因素；（3）源数据集应包括目标数据集的图像领域以获得最佳结果；（4）同时，当源任务的图像领域比目标任务的图像领域范围更广时，我们观察到的负面影响很小；（5）跨任务类型的转移可能会有益，但其成功与源任务和目标任务类型密切相关。
发现论文，激发创造
  • 领域自适应迁移学习的专家模型

    本文研究了传递学习的有效性，并发现原先认为的更多的预训练数据不一定就能提高模型性能，而是需要审慎选择预训练数据。同时，作者提出了基于目标数据集计算重要性权重的领域自适应传递学习方法，并在多个细粒度分类数据集上取得了最先进的结果。

    Nov, 2018

  • 异构迁移学习综述

    综述了异构迁移学习方法的最新发展，为未来的研究提供了系统的指南，包括自然语言处理、计算机视觉、多模态和生物医学等各种应用场景。

    Oct, 2023

  • 跨任务和领域传递良好特征的学习

    本文提出一种基于知识迁移和神经网络的方法，使得在新领域中，能够在有限或无额外监督的情况下利用特定领域中已学知识解决新任务，并且在特征空间约束和映射网络方面提出了一些策略，从而在合成到真实的语境下，利用单目深度估计和语义分割任务之间的知识迁移，获取了令人满意的结果。

    Jan, 2023

  • 任务和领域跨界学习

    本文提出了一种新的适应性框架，用于跨任务和领域传递知识，通过在一个完全监督域中学习跨任务和领域的知识，使其在只有部分监督域中实现性能增益。实验证明了该框架在两个具有挑战性的任务（即单眼深度估计和语义分割）和四个不同领域（Synthia、Carla、Kitti 和 Cityscapes）中的有效性。

    Apr, 2019

  • 如何以迁移学习方式进行迁移

    本文探讨了深度学习中的迁移学习的效果与代价，结果提供了关于使用迁移学习的指南。

    Nov, 2022

  • 跨越极端任务差异的少样本迁移自训练

    本文介绍了一种解决领域差异的简单有效方法：在目标域的未标记数据上进行基于自我训练的源域表示法预训练，从而改善在目标任务上的一次性性能。在 BSCD-FSL 基准测试中，本方法使目标域的一次性性能平均提高了 2.9 点。

    Oct, 2020

  • 迁移学习在医学图像中的工作原理：特征复用及其它因素

    通过对几个医学图像基准数据集的一系列实验，我们探讨了迁移学习、数据大小、模型能力和归纳偏差以及源域与目标域之间的距离之间的关系，并发现特征重用在其中扮演着重要的角色。

    Mar, 2022

  • 多领域学习中的迁移和干扰分离

    本研究研究了多域学习中的迁移学习，提出了新的度量标准，建立了实验协议，并研究了网络容量、任务分组和动态损失加权在减少干扰和促进知识迁移方面的作用。

    Jul, 2021

  • 任务迁移学习中可迁移性的信息论方法

    本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

    Dec, 2022

  • 跨域和跨任务的同时深度迁移

    本研究提出一种用于视觉领域适应的 CNN 架构，利用未标记和稀疏标记的目标领域数据实现域不变性优化并采用软标签分布匹配损失在任务之间传递信息，其在监督和半监督适应设置下都取得了先前发表结果之上的实证表现。

    Oct, 2015