Apr, 2022

UniDU: 面向统一的生成式对话理解框架

PDF
TL;DR本文提出了一种统一的生成式对话理解框架 UniDU，将所有 DU 任务都重新定义成统一的基于提示的生成模型。并引入了一种新颖的模型非特定多任务训练策略 (MATS) 来在训练期间动态地适应各种任务的权重以实现最佳的知识共享。实验表明，UniDU 框架在所有任务上均比特定任务的良好设计方法表现更优，并揭示了这些任务的知识共享结构。最后，UniDU 在未知对话领域获得了良好的性能，显示出广泛应用的巨大潜力。
pre-trained language modelsdialogue understandingunidugenerative model paradigmmulti-task training
发现论文，激发创造
  • UniDS: 针对闲聊和任务导向对话的统一对话系统

    提出了一种融合了聊天和任务对话技能的统一对话系统 (UniDS)，采用一个统一的对话数据模式，并通过对已有的聊天对话模型进行微调来训练 UniDS。实验结果表明，该系统在处理聊天和任务对话时与现有的最佳系统相当，同时在稳健性方面表现更好。

    Oct, 2021

  • UniGDD: 一个面向目标的文档驱动对话的统一生成框架

    本文提出了一种基于文档的对话方法，通过生成理解文本的知识与回答用户提问，逐步消除错误传播问题，并采用温度调度方法减少文档信息的负面影响，实验结果证明了多任务学习策略的有效性。

    Apr, 2022

  • UniGen: 一个面向检索和问答的统一生成框架，利用大型语言模型

    UniGen 是一种集成了生成式检索和问答功能的统一生成模型，通过使用大型语言模型，UniGen 采用一个共享编码器和两个不同的解码器，引入连接器来弥补查询输入和生成目标、文档标识符和答案之间的差距，并提出了一种迭代增强策略来通过生成的答案和检索的文档迭代地改进两个任务，在 MS MARCO 和 NQ 数据集上的广泛实验证明了 UniGen 在检索和问答任务中具有优越的性能。

    Dec, 2023

  • Uni3DL: 三维和语言理解的统一模型

    Uni3DL 是一个统一的 3D 和语言理解模型，它运用于点云而不是传统的多视图图像，实现了对多种 3D 任务的支持，包括语义分割、目标检测、实例分割、视觉定位、3D 字幕和文本 - 3D 跨模态检索，并且在性能上超过了最先进的特定任务模型。

    Dec, 2023

  • DFM: 用于大规模对话导向任务学习的对话基础模型

    本文旨在构建一种统一的会话基础模型，通过收集大规模多样化的对话数据集和引入自监督任务，提高该模型的稳定性。实验结果表明，与其他相同规模的模型相比，该模型在跨领域对话任务方面有着领先的表现。

    May, 2022

  • UniDM：面向大语言模型的数据操作统一框架

    研究通过利用大语言模型（LLMs）和自动化上下文检索，设计了一个统一框架 UniDM，用于解决数据操作任务，并在各种基准测试中展现出极高的通用性和先进性能。

    May, 2024

  • 客服对话的统一知识提示预训练

    本篇论文提出了一种创新的统一知识提示预训练框架 UFA（Unified Model For All Tasks），系统地解决了客户服务对话任务中的各种需求，通过混合不同的对话任务进行学习，显著提高了自然语言理解和生成的基准。

    Aug, 2022

  • 基于多任务学习的联合语言理解和对话状态跟踪

    本文提出了一种新的多任务学习方法，旨在为面向任务的对话系统中的语言理解（LU）和对话状态跟踪（DST）进行学习。多任务训练使得编码用户话语的神经网络层用于 LU 和 DST，通过减少网络参数并提高性能。 本研究提出了 DST 框架，用于考虑有大量或无限可能值的插槽及以往对话中未见过的槽值，并探讨了在 LU 和 DST 输出上使用计划采样来弥合训练和推理之间的差距。

    Nov, 2018

  • 自然语言理解与生成的统一语言模型预训练

    本文介绍了一种新的统一预训练语言模型 (UniLM)，该模型可用于自然语言理解和生成任务，使用了三种类型的语言建模任务进行预训练，采用共享 Transformer 网络和特定的自我注意掩码来控制预测条件的上下文，其在自然语言生成方面的表现优于 BERT，最终达到了五种自然语言生成数据集的最新最优成果。

    May, 2019

  • 自然语言处理中对分布偏移的稳健处理的普适领域自适应

    部署机器学习系统到未知领域时，需要它们能够有效利用先前的知识，同时对异常输入发出警报。本文提出了一个全面的自然语言基准，以验证模型的普适性和鲁棒性，并观察到原本设计用于图像输入的 UniDA 方法可以有效地迁移到自然语言领域，并强调了适应难度对模型性能的影响。

    Oct, 2023