CVPRNov, 2018

负迁移的特征及其避免

PDF
TL;DR研究传输学习中不同源数据对目标任务的影响，提出了负传输的正式定义，并通过对抗网络设计了一种过滤无关源数据的技术，用于解决负传输问题，在实验中该方法能够显著提高基线方法的性能并避免负面影响。
transfer learningnegative transfersource dataadversarial networksdeep transfer methods
发现论文，激发创造
  • 负迁移调查

    本文提出了一个系统化的对负迁移的定义及其影响因素、减少负迁移算法的调查，涵盖了安全迁移、领域相似度估计、远距离迁移和负迁移减缓四个方面，并探讨了在多任务学习、终身学习和对抗攻击等相关领域中的负迁移

    Sep, 2020

  • 解决图上的负迁移

    本研究探讨图传递学习中的负迁移现象以及结构差异对图节点嵌入的影响，提出了两种有效的方法 Subgraph Pooling (SP) 和 Subgraph Pooling++ (SP++)，通过转移子图级别的知识来减少图之间的差异。

    Feb, 2024

  • 使用代理模型识别多任务学习中的负迁移

    本文提出一种通过代理模型解决多任务学习中子任务选择问题的方法，该方法使用线性回归模型预测未见过的子任务组合的性能表现，利用其提供的子任务与目标任务的相关性分数进行选择，可以更准确地预测负面转移，并显著提高现有多任务学习算法的性能。

    Mar, 2023

  • 基于任务意识缓解负迁移的性别歧视、仇恨言论和有害语言检测

    本文提出了一种新颖的方法来减轻负迁移问题，通过任务意识的概念来实现，在检测文本评论中的性别歧视、仇恨言论和有害语言方面取得了最新的技术水平。

    Jul, 2023

  • 揭示对抗可迁移性与知识可迁移性之间的关联

    本文分析传递学习（knowledge transferability）与对抗可迁移性（adversarial transferability）之间的相互作用，并提出两种实用的对抗可迁移性度量，通过广泛的实验证明了对抗可迁移性与知识可迁移性之间的正相关性，为未来有效的知识转移学习和对抗迁移性分析提供了启示。

    Jun, 2020

  • 对话理解中基于数据效率的数据集内任务迁移探索

    本研究探讨了在对话领域中，基于顺序迁移学习的多少目标任务训练数据会对模型性能和数据效率产生何种影响。研究结果表明，在许多情况下，与没有迁移学习的相同模型相比，目标任务的训练数据大小对顺序迁移学习的表现几乎没有影响。这一出人意料的结果可能是灾难性遗忘效应的影响，进一步的工作需要研究如何避免这种遗忘。

    Oct, 2022

  • 学习什么和在哪里转移

    本研究提出了一种基于元学习的转移学习方法，可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置，该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。

    May, 2019

  • 迈向稳健高效的持续语言学习

    本文提出了一种针对任务序列的基准测试，旨在从持续学习和迁移学习的角度探讨如何快速适应新任务和模型微调策略。同时，提出了一种简单而有效的学习器，通过选择性策略初始化新模型并从过去的任务检查点中获得最大利用信息的能力。

    Jul, 2023

  • 大规模预训练分类器任务可转移性分析

    本文通过分析在只微调模型最后一层的情况下分类任务的性能传输，提出了一种新颖的任务转移分析方法，该方法通过改变类先验分布、标签和特征空间的方法变换源分布，并利用 Wasserstein 距离、标签分布的条件熵以及源分布的带权损失等因素说明了传输性，同时提出了最小化转移上限的变换源任务的优化问题，通过对最新的预训练模型进行大规模实证研究，证明了本方法在预测传输性方面的有效性。

    Jul, 2023

  • 理解和提升对抗样本的可迁移性

    本文系统研究了影响对抗样本传递性的两类因素，包括网络结构、测试精度等模型特定因素和构建对抗样本的损失函数的局部光滑性。基于这些理解，提出了一种简单而有效的策略来增强传递性，称为方差降低攻击，因为它利用方差降低梯度来生成对抗样本，实验结果表明其有效性。

    Feb, 2018