May, 2022

DFM: 用于大规模对话导向任务学习的对话基础模型

PDF
TL;DR本文旨在构建一种统一的会话基础模型，通过收集大规模多样化的对话数据集和引入自监督任务，提高该模型的稳定性。实验结果表明，与其他相同规模的模型相比，该模型在跨领域对话任务方面有着领先的表现。
conversational agentdialogue tasksunified dialogue foundation modeldialogzooself-supervised tasks
发现论文，激发创造
  • 面向任务导向对话的通用对话行为标注

    本文提出了一种适用于任务导向对话系统的通用 DA 模式，并使用人类 - 人类对话语料库进行标记和建模，通过半监督学习技术，以提高标记效率和标记质量。

    Jul, 2019

  • UniDU: 面向统一的生成式对话理解框架

    本文提出了一种统一的生成式对话理解框架 UniDU，将所有 DU 任务都重新定义成统一的基于提示的生成模型。并引入了一种新颖的模型非特定多任务训练策略 (MATS) 来在训练期间动态地适应各种任务的权重以实现最佳的知识共享。实验表明，UniDU 框架在所有任务上均比特定任务的良好设计方法表现更优，并揭示了这些任务的知识共享结构。最后，UniDU 在未知对话领域获得了良好的性能，显示出广泛应用的巨大潜力。

    Apr, 2022

  • 基础模型向导：通过知识和推理指引基础模型

    基于对代理与基础模型互动模式的分类和对该模式的扩展架构提出的综述性论文，为实现基础模型在实际人工智能系统中的潜力提供了指导。

    Feb, 2024

  • 改进角色感知对话数据集的双重任务框架

    本文介绍了一种简单而有效的数据中心方法，用于改善个性化对话代理。通过利用针对两个任务的原始 - 对偶结构（预测对话响应和个人资料之间的联系），我们增强了相关人物角色，以改进对话数据集 / 代理，并修复了基准数据集的注释问题，其巨大地增加了模型的精度，体现在 Persona-Chat 上的实验中，我们的方法在准确性上比预训练 LM 高出 11.7 个百分点。

    Feb, 2022

  • ChemDFM：化学对话基础模型

    化学研究中的大型语言模型，ChemDFM，具有高度专业化的语言和知识，并在化学任务中表现出强大的性能和效果。

    Jan, 2024

  • MSDF: 通用开放域多技能对话框架

    该研究提出了一种通用的多技能对话框架 MSDF, 它可以应用于不同的对话任务，并通过在不同的大型对话语料库上预训练响应生成器来实现。使用外部知识的灵活复制机制强化了在各种情境中的多种形式知识的利用，并且在多项任务中较基准模型表现更好。

    Jun, 2022

  • 基础模型能否操纵您的数据？

    本文旨在探讨基础模型（FMs）在数据清洗和集成等传统数据任务中的表现，研究发现大型 FM 模型可以在这些任务中取得 SoTA 表现，并针对这一发现提出了相关挑战和机遇。

    May, 2022

  • FutureTOD：教授预训练语言模型未来知识用于任务导向对话

    本文提出了一种基于 FutureTOD 模型的对话预训练方法，该方法可通过自我训练并利用未来奖励来使模型学习到当下上下文信息和预测未来信息，从而提高对话表示的概括、鲁棒和学习判别性能力，并在不同的下游对话任务中获得了良好的表现。

    Jun, 2023

  • 基于联邦学习的基础模型协同优化：一项综述

    基于联邦学习与基础模型的潜力和挑战以及核心技术、未来方向和应用的综述。

    Jun, 2024

  • 面向任务型对话的灵活结构模型

    本文提出了一种新颖的端到端体系结构，用于任务导向型对话系统，该体系结构基于简单实用但非常有效的序列到序列方法，以联合建模语言理解和状态跟踪任务，同时使用结构复制增强的顺序解码器和每个插槽的多标签解码器。在评估中，这种架构在剑桥餐厅数据集和斯坦福车载助理数据集上均取得了最先进的性能。

    Aug, 2019