Oct, 2023

基于因子化张量网络的多任务与多领域学习

PDF
TL;DR通过使用因式分解张量网络（FTN）的方法，可以在几个参数增加的情况下，实现与独立单任务 / 领域网络相媲美的准确性。FTN 利用源模型中的冻结骨干网络，并逐步添加任务 / 领域特定的低秩张量因子到共享的冻结网络，从而能够适应大量的目标领域和任务，而不会发生灾难性遗忘。此外，与现有方法相比，FTN 所需的任务特定参数数量显著较少。
multi-task learningmulti-domain learningfactorized tensor networkaccuracytask-specific parameters
发现论文，激发创造
  • 利用网络潜在张量分解进行渐进式多领域学习

    本文提出了一种增量学习方法，基于 Tucker 分解来跨领域学习和任务学习，不会产生灾难性遗忘，此方法在 Visual Decathlon Challenge 的 10 个数据集上展现出了紧凑表示的效果和与其他方法相当的性能。

    Apr, 2019

  • 从整体到特定：基于领域转换网络的多领域翻译

    本篇论文提出一种利用领域转换网络、知识蒸馏和对抗学习等方法，解决多领域翻译中通用和特定知识的统一建模问题，并在多种语言对上得到了比 fine-tuning 方法更为优秀的结果。

    Nov, 2019

  • 用于多领域端到端任务导向对话的动态融合网络

    研究通过引入共享专有网络和动态融合网络，明确利用多领域数据，提高每个领域和未见过领域的性能，以及在较少训练数据情况下的可移植性，从而为多领域对话的研究提供了一种先进方法。

    Apr, 2020

  • 深度多任务表示学习：张量分解方法

    本文提出了一种新的深度多任务表示学习框架，通过将矩阵分解技术泛化为张量分解，实现了深度网络中的端到端知识共享的自动学习，而不需要用户定义的多任务共享策略。实验证明了我们的深度多任务表示学习方法在提高准确性和减少设计选择方面的有效性。

    May, 2016

  • 调制适配器多领域学习

    本文提出使用 Modulation Adapters 进行卷积滤波器权重更新的方法，从而在多领域的图像分类任务中取得了比现有最先进方法更好或相当的效果。

    Jul, 2023

  • 通过联邦学习训练混合领域翻译模型

    本文利用联邦学习来处理复杂的混合域翻译模型训练任务，证明了在训练过程中进行轻微的修改并采用基于联邦学习的聚合方法，可以轻松地适应不同域，从而构建出与依赖于集中式训练技术的最先进基准相媲美的神经机器翻译引擎。同时，此研究还在五个数据集上进行了验证，并论述了 FL 和 NMT 如何互相受益。此外，研究者们还提出了一种新的技术，通过在 FL 更新期间选择具有影响力的参数来动态控制通信带宽大小，针对需要在 FL 双方之间交换非常大的 NMT 引擎的情况，这是一项重要的成果。

    May, 2022

  • 使用统一文本到文本转换 Transformer 进行极端多领域、多任务学习

    研究了多领域文本转换转换器在 Python Code 和 Chess 领域中 4 个任务上的行为，发现 GPT 风格的联合预训练 + 联合微调策略在多领域，多任务学习中表现最好。

    Sep, 2022

  • 因子增强的张量对张量神经网络

    通过提取和总结有用的预测信息（由 “因子张量” 表示）并利用张量分解模型将其输入到时间卷积神经网络中，本研究提出了一种因子增强的张量对张量神经网络（FATTNN）。该方法能够处理复杂数据结构之间的非线性关系，并在预测准确性和计算成本方面优于传统的统计模型和常规的深度学习方法。通过利用张量分解模型，提出的方法在提高预测准确性的同时，大幅度减少了数据维度从而加快了计算速度。通过模拟研究和对三个公共数据集的实际应用，验证了提出方法的实证性能，数值结果表明，与基准方法相比，提出的算法在预测准确性方面取得了显著的增加，并且计算时间显著减少。

    May, 2024

  • 多域深度神经网络的高效参数化

    本文提出用一些适量的参数区分不同的子任务，从而在视觉领域的多个任务中进行迁移学习，此类参数化极易压缩且具有较高的性能。

    Mar, 2018

  • 大规模多任务和多域学习中的标量化

    通过多领域和多任务学习的大规模统一分析，深入了解标量化在各种任务和领域组合以及模型规模中的动态，然后借助基于群体的训练来有效地搜索处理大量任务或领域时的最优标量化权重。

    Oct, 2023