ICLROct, 2015

出席、适应和转移：同一领域内多源自适应转移的注意力深度架构

PDF
TL;DR本文探讨了如何在模型的新目标任务中，从源任务中迁移知识。提出了一种基于注意力机制的深度学习算法 A2T（Attend, Adapt and Transfer），它可以避免负面迁移，并能够有选择地从多个源任务中迁移知识，经实验验证，在不同的学习算法中，A2T 是一种有效的迁移学习算法。
transfer learningnegative transferselective transferdeep learningalgorithm
发现论文，激发创造
  • 注意力多任务深度强化学习

    本文提出了一种基于注意力机制的多任务深度强化学习方法，该方法可以自动将任务知识分组，并在可能的情况下实现积极的知识转移，避免任务干扰，并表现出可比较或优越的性能。

    Jul, 2019

  • 基于任务关系建模的多智体策略迁移

    本文提出了一种基于任务表示的团队适应方法，通过学习任务之间的共同结构，使得团队可以在少量的源任务学习之后将协作知识传递到新任务上。我们发现微调转移策略有助于解决那些从头开始难以学习的任务。

    Mar, 2022

  • 自适应累积知识迁移用于部分领域自适应

    本文介绍了一种自适应积累知识传递框架（A $^ 2$ KT），其中包括自适应积累机制，双特征分类器结构以及最大化聚类中心差异性和最小化聚类紧密度以获得更多领域不变性和任务特定的共享类别数据区分能力，该框架旨在解决部分域适应问题。复杂的实验表明该模型比当前 PDA 方法表现更优秀。

    Aug, 2020

  • TransferAttn：可传递引导的注意力是视频领域自适应的必需

    使用转换器图层作为特征编码器，将空间和时间的可传递性关系融入到注意机制中，提出了 TransferAttn 框架以适应不同骨干的跨领域知识，通过改变自注意机制为可传递性注意机制，引入 DTAB 模块来增加 ViT 的可传递性，验证了 TransferAttn 和 DTAB 在多个数据集和不同骨干下的有效性。

    Jul, 2024

  • 转移适应学习：十年综述

    本文综述了过去十年中 TAL 方法学术的进展和技术挑战，并提出了广义解决方案，包括实例重新加权适应、特征适应、分类器适应、深度网络适应和对抗适应，以实现全面的理解和未来挑战的安全应用。

    Mar, 2019

  • 基于属性映射的深度模型可迁移性

    本文提出了一个简单而高效的方法来估计深度神经网络的迁移能力，该方法通过将深度神经网络投影到一个模型空间中，其中每个网络被视为一个点，这些点之间的距离通过它们产生的归因图的偏差来衡量。该方法比 Taskonomy 快数倍，同时保留了 Taskonomy 获得的与任务相关的拓扑结构。

    Sep, 2019

  • Actor-Mimic: 深度多任务和转移强化学习

    本研究提出了一种名为 “Actor-Mimic” 的多任务学习和迁移学习方法，通过深度强化学习和模型压缩技术来训练一个单一的策略网络，并通过多个专家教师的指导来学习在不同任务中的行为，并使用先前的知识解决新任务。研究结果表明，该方法的表征能力可以通过无先验的专家指导来推广到新的任务并加速学习。本方法可以应用于多样的问题，为了说明其效果，我们在 Atari 游戏上进行了测试。

    Nov, 2015

  • 自动转移：学习路由可转移表示

    本文提出了一种新颖的对抗多臂赌博方法，自动学习将源表示路由到适当的目标表示，进而以有意义的方式结合这些表示以产生准确的目标模型，适用于小数据应用。

    Feb, 2022

  • 学习什么和在哪里转移

    本研究提出了一种基于元学习的转移学习方法，可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置，该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。

    May, 2019

  • 基于多源转移学习的深度模型强化学习

    本研究旨在提出多源模块化转移学习技术，以减少强化学习所需的环境交互次数并提高知识重用。我们支持这一技术的有效性，并进行了广泛而具有挑战性的视觉控制跨领域实验。

    May, 2022