ICMLMar, 2018

伪造任务增强：从深度多任务学习到任务内共享 - 再回来

PDF
TL;DR本文介绍了一种单任务学习的方法 -- 伪任务增强，通过在同一宇宙中绘制类似任务来训练多个解码器，以提高单任务学习性能，同时与多任务学习相结合，这种方法显示出对深度学习系统的广泛适用性和高效性。
发现论文，激发创造
  • TaskMix: 口语意图理解元学习的数据增强

    本论文探讨了元学习在传递相关任务的知识方面的研究方向，发现在低任务多样性下，最先进的数据增强方法会恶化过拟合问题；为此，提出了一种称为 TaskMix 的简单方法以缓解过拟合问题和改善性能。

    Sep, 2022

  • 深度多任务学习和辅助任务学习简述

    本文采用深度多任务学习方法，探究如何选择有用的辅助任务来提高模型性能和泛化能力。

    Jul, 2020

  • 神经语音翻译的绑定多任务学习

    本文探讨了用于神经语音翻译的多任务模型，并对其进行增强，以反映两个直观概念。精准的中间表示和神经关联的模式，参与模型的训练可以提高低资源语音转录和翻译任务的性能。

    Feb, 2018

  • 多任务学习中的辅助任务

    通过在视觉数据集中引入小部分的附加任务，可以提高深度多任务卷积神经网络的性能，证实了辅助任务在加速训练和优化最终结果方面的有效性

    May, 2018

  • 共享内存的深度多任务学习

    本研究提出了两种深度神经网络结构， 加入外部记忆共享于多个任务中训练，实验表明该结构帮助相关任务，提高文本分类任务效果。

    Sep, 2016

  • 辅助任务更新分解：好的、坏的和中性的

    为使辅助任务更新适应主任务，我们提出了一种模型无关的框架，通过对辅助更新进行分解和加权，使得这些更新可以帮助、损害或保持主任务损失不变，在处理文本和图像分类任务中，该方法与强基线方法相比表现更优。

    Aug, 2021

  • 利用表示相似性引导的多任务特征共享来抑制任务干扰

    本研究提出一种渐进式解码融合（PDF）方法，通过基于任务表示相似性逐步结合任务解码器，缓解任务干扰，同时利用解码器共享的归纳偏差，提高多任务网络的泛化能力和对抗攻击鲁棒性。

    Aug, 2022

  • 利用辅助大任务学习具有不一致标签的多项任务

    该研究提出了一种框架，通过联合利用来自具有足够多类别的大型辅助任务和这些任务之间共享的信息，来学习在训练样本有限、标签集仅部分重叠或甚至没有的多任务。其关键思想是利用可用的标签信息，自适应地修剪辅助网络的隐藏层神经元，构建每个任务的相应网络，并伴随着个别任务的联合学习。实验结果表明，该方法比最先进的方法更加有效。

    Jan, 2022

  • 基于编码器 - 解码器的语音识别中的低层辅助任务多任务学习

    本研究探讨了将中间表示作为深度网络低层的辅助监督的方法，将传统的 pipeline 方法与端到端的训练方法相结合，实验结果表明这种方法提高了对话语音识别的识别准确性。

    Apr, 2017

  • AdaShare：学习数据共享策略以提高深度多任务学习效率

    本文提出了一种自适应共享方法 AdaShare，通过任务特定的策略选择性地决定跨哪些任务共享众多的深度神经网络层，从而实现最佳识别准确度和资源效率。实验表明，该方法针对具有多个任务的不同基准数据集具有优异的效果。

    Nov, 2019