Apr, 2016

自主学习的多任务学习

PDF
TL;DR本文提出了一种新颖的多任务学习框架，称为自适应步进多任务学习，该框架通过同时考虑任务和实例的复杂性来共同学习任务。通过提出一种新的面向任务的正则化器，可以联合优化任务和实例，从而可以解释为多任务学习中的自适应学习器。而且作者还设计了一种简单而有效的算法来优化目标函数。通过对玩具数据集和实际数据集进行实验，结果表明与现有的最先进方法相比，提出的方法具有更好的性能。
multi-task learningself-paced learningtask-oriented regularizeroptimizationexperimental results
发现论文，激发创造
  • 异步多任务学习

    本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

    Sep, 2016

  • 共享知识的自适应多任务学习

    本文介绍了一种新颖的自适应任务选择方法，用于多任务学习中，对于越来越具有挑战性的任务，该方法通过选择相关性更大的任务来实现共享知识获取最佳性能，在多种多任务学习场景中实验结果显示，该方法在表现上都优于传统方法。

    Mar, 2017

  • 可控的帕累托多任务学习

    本文提出了一种新颖的可控 Pareto 多任务学习框架，用于实现多个任务之间的实时权衡控制，其中超网络生成与偏好条件相关的模型参数，以实现基于不同权衡偏好的模型性能实时控制。

    Oct, 2020

  • 多任务学习调查

    本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

    Jul, 2017

  • 多任务稀疏结构学习

    本文提出了一种新型 MTL 模型，通过交替极小化算法解决任务关系结构和任务参数的联合估计问题，应用于回归和分类问题，结合灰色图模型结构学习得出任务关系结构。在温度预测等多个数据集中，该模型展现出了显著的表现优势。

    Sep, 2014

  • 部分监督多任务学习

    提出了一种基于自监督学习和对抗训练的半监督多任务学习模型，称为 S$^4$MTL，可用于医学成像中的分割和诊断分类任务。实验结果表明，该模型在减少 50% 标签数量的情况下，明显优于半监督单任务、半 / 全监督多任务和全监督单任务模型，并且可以用于解决有限注释问题的联合训练。

    May, 2020

  • 神经机器翻译的自适应学习

    本研究提出自适应学习方法来改进神经机器翻译 (NMT) 训练过程，允许 NMT 模型自动评估对训练示例的学习自信度并通过调节每次迭代的损失来灵活地控制学习，实验证明该方法在提高翻译质量和加速收敛速度方面优于强基线和人工设计课程训练的模型。

    Oct, 2020

  • 交替方向乘法中的分布式逐步学习

    该论文提出了一种名为分布式自适应学习（DSPL）的方法，该方法可以对大规模数据集进行优化，解决了传统自适应学习在并行计算中无法处理的问题。该方法在合成数据和真实数据上进行了广泛实验，证明了其在实践中的优越性。

    Jul, 2018

  • 跨越多任务学习和元学习：迈向高效训练和有效适应

    本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

    Jun, 2021

  • 多任务及其关系的在线学习：针对垃圾邮件数据和建筑领域脑电信号的测试

    本研究探讨了一种在线多任务学习（OMTL）方法，该方法按顺序处理数据以预测相关任务的标签，并同时学习任务权重及其相互关系。通过引入三种规则来更新任务相互关系矩阵：OMTLCOV、OMTLLOG 和 OMTLVON，与使用固定相关性值的传统方法（CMTL）相比较，我们的方法在三个数据集上进行的性能评估表明，OMTL 方法在 EEG 数据上将准确率提高了 1％至 3％，并在垃圾邮件数据集上保持了大约 12％的低错误率。

    Jun, 2024