Jun, 2023

SkillNet-X: 多语言多任务模型与稀疏激活技能

PDF
TL;DR提出了一种名为 SkillNet-X 的多语言多任务模型，使用 Transformer 模型和技能模块，以利用目标任务和目标语言的相关知识，实现在不同语言和不同任务之间切换，相对于任务特定基准和两个多任务学习基准表现更好，并在几乎所有数据集上表现出了更好的性能。
multitask learningmultilingualskillnet-xtransformerskill modules
发现论文，激发创造
  • SkillNet-NLU: 用于通用自然语言理解的稀疏激活模型

    本文提出 SkillNet-NLU 模型，将已有技能拼合起来学习新任务，与传统密集模型不同，SkillNet-NLU 只激活与目标任务相关的模型参数，采用稀疏激活预训练为 Natural Language Understanding 任务提供了性能显著的预测效果，甚至在新任务上也比其他强大的基线模型表现更好。

    Mar, 2022

  • SkillNet-NLG: 一种稀疏激活法的通用自然语言生成器

    我们介绍了 SkillNet-NLG，一种稀疏激活的方法，可以处理多种自然语言生成任务。该方法与传统的密集模型不同，SkillNet-NLG 仅选择激活与任务相关的参数，这由一组预定义的技能控制。实验结果表明，SkillNet-NLG 可以胜任五项任务中的四项，并且优于两种多任务模型和任务特定模型，同时也在适应新任务时表现出色。

    Apr, 2022

  • Hyper-X: 一个统一的超网络，用于多任务多语种转移

    本文提出 Hyper-X 模型，它将多任务和多语言学习相结合，并通过适应性生成适配器模块的权重，通过学习结合任务和语言特定的知识，实现对未出现的语言和任务 - 语言组合的零样本迁移，并在新语言的少样本情况下始终产生强大的结果。

    May, 2022

  • 多任务学习中的模块化技能组合

    通过模块化设计并学习潜在的离散技能，该研究在多任务强化学习和少样本学习中实现了更高的样本效率和解释性。

    Feb, 2022

  • XLM-K: 利用多语言知识提高跨语言语言模型的预训练

    本文提出了一种名为 XLM-K 的跨语言语言模型，它将多语言知识融入预训练中并通过两种知识任务对其进行了拓展，结果显示 XLM-K 在多项任务上表现出更高的优越性。

    Sep, 2021

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022

  • 一个模型，多种模态：文本、声音、图像、视频和代码的稀疏激活方法

    本文提出了一个能够优秀地处理多模态信息的模型，名为 SkillNet，其不同的参数部分专门用于处理不同的信息模态，并且可以稀疏激活模型参数的相关技能。我们使用自监督预训练方式对五种模态进行了开发，结果表明该模型表现与五个模态特定的微调模型相当。在汉语文本 - 图片检索任务中，我们的系统使用较少的激活参数数目，就实现了比现有优秀的 Wukong {ViT-B} 和 Wenlan 2.0 更高的准确性。

    May, 2022

  • 有效多任务和多语言建模的元学习

    通过元学习方法，将任务和语言相互作用的表征共享，可提高自然语言处理任务和多语种任务性能。

    Jan, 2021

  • 定时多任务学习：从句法到翻译

    提出了一种神经编码器 - 解码器机器翻译模型框架，该模型开始交替学习语法和翻译，逐渐将重点放在翻译上，实现了在相对较大的平行语料库（WMT14 英语到德语）和低资源（WIT 德语到英语）设置中的 BLEU 得分显着提高。

    Apr, 2018

  • 一种支配所有事情的模型：用于词汇分析的多任务和多语言建模

    本论文探讨了在自然语言处理方面学习多任务和多语言的交叉点，研究的主要目标是提高文本处理可靠性，尤其是在资源稀缺的语言中，通过利用语言重叠等方法，使得低资源语言能受益于高资源语言的进步。

    Nov, 2017