Mar, 2022

SkillNet-NLU: 用于通用自然语言理解的稀疏激活模型

PDF
TL;DR本文提出 SkillNet-NLU 模型，将已有技能拼合起来学习新任务，与传统密集模型不同，SkillNet-NLU 只激活与目标任务相关的模型参数，采用稀疏激活预训练为 Natural Language Understanding 任务提供了性能显著的预测效果，甚至在新任务上也比其他强大的基线模型表现更好。
deep learningskillnet-nlusparsely activated pre-trainingnatural language understandingmulti-task learning
发现论文，激发创造
  • SkillNet-NLG: 一种稀疏激活法的通用自然语言生成器

    我们介绍了 SkillNet-NLG，一种稀疏激活的方法，可以处理多种自然语言生成任务。该方法与传统的密集模型不同，SkillNet-NLG 仅选择激活与任务相关的参数，这由一组预定义的技能控制。实验结果表明，SkillNet-NLG 可以胜任五项任务中的四项，并且优于两种多任务模型和任务特定模型，同时也在适应新任务时表现出色。

    Apr, 2022

  • SkillNet-X: 多语言多任务模型与稀疏激活技能

    提出了一种名为 SkillNet-X 的多语言多任务模型，使用 Transformer 模型和技能模块，以利用目标任务和目标语言的相关知识，实现在不同语言和不同任务之间切换，相对于任务特定基准和两个多任务学习基准表现更好，并在几乎所有数据集上表现出了更好的性能。

    Jun, 2023

  • 一个模型，多种模态：文本、声音、图像、视频和代码的稀疏激活方法

    本文提出了一个能够优秀地处理多模态信息的模型，名为 SkillNet，其不同的参数部分专门用于处理不同的信息模态，并且可以稀疏激活模型参数的相关技能。我们使用自监督预训练方式对五种模态进行了开发，结果表明该模型表现与五个模态特定的微调模型相当。在汉语文本 - 图片检索任务中，我们的系统使用较少的激活参数数目，就实现了比现有优秀的 Wukong {ViT-B} 和 Wenlan 2.0 更高的准确性。

    May, 2022

  • 以语言模型为少样本学习者的任务导向式对话系统

    本文探讨自然语言理解、对话状态跟踪、对话策略和自然语言生成这四个模块在少数据样本下学习的挑战，并评估了使用自然语言生成模型进行少样本迁移学习的效果和局限性，为未来研究提供了启示。

    Aug, 2020

  • 在多任务口语语言理解模型中寻找任务特定的子网络

    通过神经网络剪枝，在多任务语言理解模型中找到特定任务的子网络，实现模型压缩和在新数据上适应能力的提升。

    Jun, 2024

  • 会话式人工智能的口语理解：近期进展和未来方向

    该论文讨论了使用深度学习技术进行自然语言理解的联合任务，包括意图检测和槽填充，介绍了 Spoken Language Understanding/Natural Language Understanding（SLU/NLU）技术和用于解决该问题的最新自然语言处理和深度学习技术，以及如何提高性能的一些方法。

    Dec, 2022

  • UniverSLU：适用于多样化分类和序列生成任务的通用口语理解单网络

    通过利用大型语言模型与多任务能力展示有希望的结果，我们构建了一个名为 UniverSLU 的单一多任务学习模型，它在 12 个语音分类和序列生成任务、17 个数据集和 9 种语言上展现出了竞争性的性能并且超过了特定任务模型。同时，我们还初步探索了使用人类可解释的自然短语代替任务限定词作为离散提示，并测试了该模型对新的释意表达的泛化能力。

    Oct, 2023

  • 联合自然语言理解和生成的生成模型

    本研究提出一个通过共享潜变量将自然语言理解和自然语言生成相结合的生成模型，可在平面和树形形式表示的两个对话数据集上达到最先进的性能，并展示了该模型可以利用未标记数据进行半监督学习以提高其性能。

    Jun, 2020

  • 适应风格的预训练和参数高效微调用于口语理解

    为解决领域特定标注样本数量过多的问题，提出了一种由对话语言建模预训练任务和轻量级编码器构成的 SLU 框架，通过预训练学习对话语言表示和解耦共享网络与映射领域特定知识的轻量级编码器实现领域适应。在内部和公共数据集上，该框架在添加少量参数的情况下与现有 SLU 方法的表现相匹配。

    Oct, 2020

  • 多层次多粒度对比学习驱动口语理解

    提出了一种多级多粒度的语音语义理解（SLU）框架 MMCL，应用对比学习在话语级、槽位级和词级三个层级上，实现意图和槽位之间的互相引导，通过对公开的多意图 SLU 数据集的实验结果和进一步分析，证明了模型取得了新的最先进结果，在 MixATIS 数据集上的整体准确率相比之前最好的模型提高了 2.6 个百分点。

    May, 2024