Oct, 2020

多任务学习中转移的测量与利用

PDF
TL;DR本文分析了多任务学习的信息传递动态，并开发了可量化任务间信息转移的相似度度量方法，从而使得我们在宏观和微观层面上提出了两种方法来优化多任务学习性能，这些方法在三个监督式多任务学习基准和一个多任务强化学习范式上都有显著改进。
multi-task learningtransferenceoptimization dynamicstask gradientslearning performance
发现论文，激发创造
  • 探索任务可转移性在大规模多任务学习中的作用

    本研究旨在阐明多任务表示学习中任务规模和相关性的影响。研究表明，如果预先知道目标任务，则在较小的一组相关任务上进行训练在降低计算成本的同时也能与大规模多任务训练相竞争。

    Apr, 2022

  • 任务迁移学习中可迁移性的信息论方法

    本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

    Dec, 2022

  • 多任务学习中信息传输的理解与改善

    本文研究了多任务学习的方法，使用共享特征表示所有任务，并研究了线性和 ReLU 激活模型的理论。通过实验证明了任务数据的对齐有助于多任务训练和转移学习，特别地，我们的对齐方法比 BERT-LARGE 在 5 个 GLUE 任务上平均提高了 2.35％的得分，并设计了基于 SVD 的任务重新加权方案来提高多任务训练在多标签图像数据集上的鲁棒性。

    May, 2020

  • 使用代理模型识别多任务学习中的负迁移

    本文提出一种通过代理模型解决多任务学习中子任务选择问题的方法，该方法使用线性回归模型预测未见过的子任务组合的性能表现，利用其提供的子任务与目标任务的相关性分数进行选择，可以更准确地预测负面转移，并显著提高现有多任务学习算法的性能。

    Mar, 2023

  • 多任务强化学习的样本复杂度

    介绍了一种新的多任务算法用于强化学习任务，该算法显着减少了探索的每个任务的样本复杂性，并保证不会出现负转移，与对应的单任务算法相比具有可比性。

    Sep, 2013

  • 一种统一的元学习框架用于动态迁移学习

    本文研究了一种更为现实和具有挑战性的转移学习设置，其中源任务和目标任务在时间上不断变化，我们提出了一个基于元学习的通用框架 L2E，它能够有效地在动态任务之间传递知识、快速适应新目标任务、减轻历史目标任务的灾难性遗忘，并且可灵活地结合任何现有的静态转移学习算法，验证实验表明该框架的有效性。

    Jul, 2022

  • 多任务的课程学习

    本文提出了一种处理多个任务的顺序学习方法，通过仅在相关性较高的任务之间共享信息，其基于广义绑定准则的任务顺序决策能够优化任务分类绩效并自动发现任务最佳顺序。实验结果表明，顺序学习比同时学习更加有效，任务完成顺序重要并具有指引意义。

    Dec, 2014

  • 跨学习过程的知识转移

    Leap 是一个基于元学习的框架，通过在学习过程中跨任务间传递知识，从而在计算机视觉任务上优于竞争方法，且可以在涉及数百万梯度步骤的强化学习环境中实现跨学习过程的知识转移。

    Dec, 2018

  • 探索和预测 NLP 任务的可转移性

    本文旨在探究将自然语言处理大规模语言模型 fine-tuning 应用于其他任务是否有效，通过在三大问题领域（文本分类、问题回答、序列标注）的 33 个 NLP 任务上的数据验证，结果显示 transfer learning 在数据稀缺情况下更为有效，在源任务数据较少或与目标任务差异较大的情况下仍能提高性能，同时提出了可以预测给定目标任务最具可转移性源任务的任务嵌入，并验证其在数据大小、源和目标之间的有效性。最终的结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。

    May, 2020

  • 基于任务关系建模的多智体策略迁移

    本文提出了一种基于任务表示的团队适应方法，通过学习任务之间的共同结构，使得团队可以在少量的源任务学习之后将协作知识传递到新任务上。我们发现微调转移策略有助于解决那些从头开始难以学习的任务。

    Mar, 2022