ICLRMar, 2023

关系多任务学习：建模数据和任务之间的关系

PDF
TL;DR本文提出了一种创新的关系多任务学习框架 MetaLink，通过建立连接数据点和任务的知识图谱，利用来自辅助任务的数据点标签预测新任务中的结果，可以在不同领域的 6 个基准数据集上成功地利用不同任务之间的关系，在提出的关系多任务学习设置下，可以优于现有方法，ROC AUC 性能提高了高达 27%。
发现论文，激发创造
  • 探索任务内部关系以改善元学习算法

    通过选择多样的任务进行小批量处理，我们研究利用任务关联的外部知识来改善训练稳定性，进而减少训练中的噪音。

    Dec, 2023

  • 自动关系元学习

    本篇论文提出一种基于知识库组织方式的自动关系元学习（ARML）框架，它可以从先前完成的任务中自动抽取跨任务关系并构建元知识图，通过学习的元知识图解决任务异质性的挑战，同时提高模型可解释性。

    Jan, 2020

  • 分布式多任务关系学习

    本文提出了一种基于参数服务器的分布式多任务学习框架，通过提供正则化多任务关系学习方法的对偶形式和一个通信有效的原始对偶分布式优化算法来同时学习每个任务的预测模型和任务之间的关系，以及提供针对分布式多任务关系学习的理论收敛分析。

    Dec, 2016

  • 利用多任务视角进行具有新关系类型和节点的链接预测的 OOD 处理

    本文对双重可交换性概念进行了拓展，并提出了一种适用于多任务的归纳链接预测方法，在没有额外信息的情况下有效地推广到测试中的全新关系类型，相比现有方法取得了显著的性能改进。

    Jul, 2023

  • 多任务学习中图像任务相关性的学习

    本文介绍了一种名为 Selective Sharing 的方法，通过在模型训练过程中学习辅助潜在特征，从而自动将任务分组并允许它们相互共享知识，旨在解决多媒体应用常常需要同时处理多个任务，但这些任务关系复杂，领域专家知识不足的问题。在分类、回归和排名任务的 5 个数据集上进行实验，与强基线和最先进的方法进行比较表明，在准确性和参数计数方面始终有所改善。此外，作者还进行了激活区域分析，展示了 Selective Sharing 如何影响所学的表示。

    Apr, 2019

  • 基于上下文表示的多任务强化学习

    提出一种多任务学习的方法，通过元数据构建可组合且可解释的表示，从而改进多任务学习性能，并在一个包含 50 个不同机器人操作任务的具有挑战性的多任务基准 Meta-World 上实现了最先进的结果。

    Feb, 2021

  • 知识图谱中的少量样本链接预测的元关系学习

    本研究基于 Meta Relational Learning 框架，针对在知识图谱上进行少样本关系预测的挑战，通过转移关系特异的元信息来实现优化学习，最终在少样本关系预测基准测试中取得了最先进的成果。

    Sep, 2019

  • 基于图结构的多任务学习

    本文提出了两种基于神经序列模型的多任务学习架构，采用 message-passing graph 神经网络的思想，构建了通信的图多任务学习框架，并在文本分类和序列标注任务上进行了大量实验，证明了其在多任务学习和迁移学习上的有效性和可解释性。

    Nov, 2018

  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016

  • 使用已标记和未标记的任务进行多任务学习

    本文探讨多任务学习中训练数据标注不完整的情况，并提出了基于实例的信息传递方法，针对固定标注任务和主动选择标注任务两种情况提出了算法，并通过合成数据和真实数据的实验证明了算法的有效性。

    Feb, 2016