多任务学习中的标签预算分配

Aug, 2023

Label Budget Allocation in Multi-Task Learning

Ximeng Sun, Kihyuk Sohn, Kate Saenko, Clayton Mellina, Xiao Bian

TL;DR多任务学习中，标签预算分配问题会对整体性能产生显著影响。本文提出了一种任务自适应预算分配算法，通过在不同的多任务学习环境中估计和最大化分配预算的新信息程度，优化多任务学习性能。在 PASCAL VOC 和 Taskonomy 上的实验表明，与其他常用的启发式标签策略相比，我们的方法具有明显的效果。

Abstract

The cost of labeling data often limits the performance of machine learning systems. In multi-task learning, related tasks provide information to each other and improve overall performance, but the label cost can vary among tasks. How should the label budget (i.e. the amount of money sp

label budget allocation multi-task learning task-adaptive budget allocation algorithm information maximization heuristic labeling strategies

发现论文，激发创造

如何将数据分布在任务之间进行元学习？

采用线性回归模型，实现元学习训练中的最优数据集分配，研究表明针对不同任务的数据分配策略存在差异。

Mar, 2021

众包标注中的最优预算分配统计决策

本篇论文研究了众包标注中的预算分配问题，提出了一种基于贝叶斯马尔科夫决策过程的新算法，即乐观的知识梯度策略，该算法被证明在相同的预算水平下能够实现更高的标签准确性，实验结果表明了该算法在众包标注中的效果。

Mar, 2014

多任务学习的任务选择策略

本文评估了一些常见任务选择策略在合成赌博式设置和 GLUE 自然语言理解基准测试上的性能，并将任务选择策略学习与自动课程学习和离线评估现有工作联系起来，提出了一种基于反事实估计的方法，在我们的实验设置中提高了模型性能。

Jul, 2019

众包场景下的动态任务分配

本文提出一种基于互信息解释的众包问题优化任务分配的方法，通过动态任务分配实现更高的准确度和可能需要更少的标签，从而提高了任务分配的效果。

Jan, 2017

使用已标记和未标记的任务进行多任务学习

本文探讨多任务学习中训练数据标注不完整的情况，并提出了基于实例的信息传递方法，针对固定标注任务和主动选择标注任务两种情况提出了算法，并通过合成数据和真实数据的实验证明了算法的有效性。

Feb, 2016

如何分配标签预算？在异常检测中选择主动学习和学习拒绝之间的区别

本文提出了一种基于奖励函数的混合策略，用于决定在多轮中分配标签预算以收集主动学习标签或学习拒绝标签，以优化异常检测性能。应用于 18 个基准数据集，结果表明该策略优于基线方法。

Jan, 2023

标签预算约束下的深度异常检测

本文提出了一种基于理论条件的数据标记策略，并提出了一种新的半监督学习框架，可在数据标记预算约束下实现最优数据覆盖，并优于其他方法在标记预算约束条件下实现最佳半监督异常检测性能。

Feb, 2023

多任务学习的多目标优化

本论文将多任务学习作为多目标优化来解决，并提出了一种基于梯度下降优化算法的上限边界，证明了在现实情况下优化这个上限边界将得到帕累托最优解，在多任务深度学习问题上应用我们的方法表现出比最近的多任务学习公式或每项任务训练的模型更高的性能。

Oct, 2018

不同标注数量下的学习：从零到多标签

该研究论文通过在一小部分训练样例中为每个样例分配多个标签的方法，提出可通过利用不同标注数量的训练样例，设计高效的学习算法，提高自然语言处理的任务表现。

Sep, 2021

基于两阶段强化学习的多实体任务分配方法

基于相似性的双阶段任务分配算法利用强化学习来学习优化分配策略，有效解决了动态任务分配的挑战，并具有良好的性能和零样本泛化能力。

Jun, 2024