SIGIRMay, 2020

通过多任务学习实现规模化的高效图像库表示

PDF
TL;DR通过多任务学习的方法构建通用的图片库编码器，并证明它是实现学习表示在新的下游任务中通用性的实用方法。此外，我们分析了 MTL 训练解决方案相对预测性能与最优解决方案的差异，并发现 MTL 是一种有用的机制来解决低资源二元任务中的稀疏性信号。
发现论文，激发创造
  • 视觉场景理解的多任务学习

    研究多任务学习在计算机视觉中的应用，通过综述现有方法，提出几种方法处理多任务学习中的重要问题，并在各种基准测试中进行评估，进一步提升了多任务学习的状态。

    Mar, 2022

  • 多任务学习调查

    本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

    Jul, 2017

  • 多任务学习中图像任务相关性的学习

    本文介绍了一种名为 Selective Sharing 的方法，通过在模型训练过程中学习辅助潜在特征，从而自动将任务分组并允许它们相互共享知识，旨在解决多媒体应用常常需要同时处理多个任务，但这些任务关系复杂，领域专家知识不足的问题。在分类、回归和排名任务的 5 个数据集上进行实验，与强基线和最先进的方法进行比较表明，在准确性和参数计数方面始终有所改善。此外，作者还进行了激活区域分析，展示了 Selective Sharing 如何影响所学的表示。

    Apr, 2019

  • 跨越多任务学习和元学习：迈向高效训练和有效适应

    本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

    Jun, 2021

  • 密集预测任务的多任务学习：综述

    本文综述了当前深度学习在计算机视觉中的多任务学习领域的最新研究进展，主要关注密集预测任务，从网络架构和优化方法两个角度进行了阐述和总结，旨在探讨多任务共享表示学习的优势和局限性。

    Apr, 2020

  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016

  • 深度神经网络的多任务学习：一项调查

    本篇综述介绍了多任务学习在深度神经网络中的方法，重点阐述了体系结构、优化方法和任务关系学习三个方面，并提供了常见的多任务基准的总结。

    Sep, 2020

  • 多任务学习中的分布匹配：在人脸及其他任务上的大规模研究

    挑战现有多任务学习 (MTL) 框架，提出新方法通过分布匹配实现任务间的知识交流，证明少量注释或非重叠注释情况下的 MTL 仍能成功，且在各个领域的案例研究中均带来了较大的性能提升。

    Jan, 2024

  • 潜在多任务架构学习

    本文提出了一种基于潜在多任务体系结构的方法，该方法可以在 OntoNotes 5.0 的人造数据和数据中的多种领域和四种不同的任务中，比以往任何一种学习潜在体系结构的多任务问题方法都表现得更优秀，可以实现高达 15% 的平均误差降低率。

    May, 2017

  • 复杂视觉系统上的多任务学习鲁棒性分析

    多任务学习中的问题和挑战，包括优化算法的评估，梯度级别的比较，梯度角度和相对梯度范数的局限性，以及基于特征提取器的潜在空间和特征解缠的训练监测结果。

    Feb, 2024