May, 2024

众工合力：面向任务的模块化专家混合对话系统

PDF
TL;DR通过使用一组专家混合集成方法，提出了 SMETOD 任务导向对话系统，其中可以优化子问题的结果并为任务导向的对话生成专业化输出，这样既能扩展对话系统又能保持推理效率，并在多项指标上实现了最先进的性能。
task-oriented dialogue systemspre-trained language modelsensemble of mixture-of-expertsscaling modelsstate-of-the-art performance
发现论文，激发创造
  • 使用神经专家混合模型的模块化任务导向对话系统

    采用神经模块化方法，提出一种多专家一体的对话生成器，利用 TokenMoE 模型实现训练，相较于单模块模型，具有更高的 inform 和 success rate

    Jul, 2019

  • 插拔式任务导向对话系统的多任务预训练

    该研究提出了通过 PPTOD 模型和新的对话多任务预训练策略来解决任务导向对话系统中存在的级联生成问题，取得了针对几个基准 TOD 任务的最新成果。

    Sep, 2021

  • 知识丰富的面向任务的对话系统 (KETOD)

    在这项工作中，我们研究了如何将任务定向对话和有知识的聊天有机地整合到单个模型中，通过创建一个新的数据集 KETOD 来自然地丰富基于相关实体知识的任务定向对话。我们还提出了两个新模型，SimpleToDPlus 和 Combiner，在自动和人工评估的实验结果中表现出显著的优越性能。

    May, 2022

  • 面向任务的端到端对话系统的任务优化适配器

    该研究提出了一种基于 Task-Optimized Adapters 和强化学习的 End-to-end TOD 系统，能够独立学习每个任务，并在 MultiWOZ 基准测试上表现出优越的性能，特别是在 2.2 数据集上的 DST 任务达到了最先进的水平。

    May, 2023

  • 一种基于强化学习的混合专家方法用于对话管理

    使用混合专家语言模型的强化学习对话管理器表现出更大的灵活性以产生具有不同意图的合理话语，并允许强化学习专注于会话级别的对话管理。

    May, 2022

  • 利用合成的开放领域对话提高任务机器人的参与度

    提出了一种自动生成结合任务导向对话和开放领域对话的框架，同时介绍了一种适用于这一任务的统一模型 PivotBot，并通过评估结果证明，该模型能够在任务导向对话和开放领域对话之间无缝切换。

    Dec, 2022

  • 针对任务导向对话的简单语言模型

    SimpleTOD 采用单个因果语言模型解决任务导向的对话，具有先进的性能，并且可以完全利用预训练、开放领域的因果语言模型进行转移学习。它提高了对话状态跟踪的联合目标准确性，改善了在端到端设置中评估行动决策和响应生成的主要指标。

    May, 2020

  • MoDE: 一种基于专家互相融合的混合模型

    我们提出了一种叫作 Mixture-of-Distilled-Expert（MoDE）的方法，通过在专家之间应用适度的相互蒸馏，使每个专家能够掌握其他专家学习到的更多特征，从而对其原始分配的子任务有更准确的认识。我们进行了大量的实验，包括表格、自然语言处理和计算机视觉数据集，证明了 MoDE 的有效性、普适性和鲁棒性。此外，我们通过创新地构建 “专家探针” 进行了平行研究，实验性地证明了为什么 MoDE 起作用：适度的知识蒸馏可以提高每个单独专家在其所分配任务上的测试性能，从而提升 MoE 的整体性能。

    Jan, 2024

  • SimpleMTOD: 一种用于多模态任务导向对话的简单语言模型与符号场景表示

    SimpleMTOD 提出了一个简单的语言模型，将多模态任务导向对话的几个子任务转换为序列预测任务，在大规模的基于 transformer 的自回归体系结构上构建，引入了局部和去局部化令牌来捕获视觉场景的语义，并在不依赖于分类头等任务特定体系结构的情况下，在 SIMMC 2.0 测试数据集 Response Generation 子任务中实现了最先进的 BLEU 分数（0.327）。

    Jul, 2023

  • 面向任务导向对话系统的半监督知识驱动预训练

    本文介绍了我们的 Track 2 模型，利用大规模真实世界的 MobileCS 中国 TOD 数据集，使用半监督学习和强化学习构建知识引导的对话模型，实现了任务导向对话系统的高效预测和人机交互。我们的系统在自动评估和人工交互中表现都极佳，尤其是 BLEU (+7.64) 和 Success (+13.6%) 方面比第二名更优秀。

    Oct, 2022