May, 2021

检索增强的 Transformer-XL 用于闭域对话生成

PDF
TL;DR本研究提出了基于 Transformer 的多轮对话响应生成模型，采用新颖的检索机制，结合 k 最近邻搜索，基于 Google 发布的 Taskmaster-1 数据集和真实的客户服务呼叫中心数据集进行评估，结果优于强基线模型。
发现论文，激发创造
  • 对话领域适应的混合生成 - 检索 Transformer

    本文提出了基于 GPT-2 微调多领域 MetaLWOz 数据集的混合生成 - 检索模型，具有稳健、多样的响应生成能力，在领域自适应任务中取得了最优结果，并在适应未见过的 MultiWOZ 数据集时表现出竞争力的泛化性能。

    Mar, 2020

  • 封闭领域对话响应生成的实用方法

    本文提出了一种采用双编码器网络进行弱监督训练的原型对话响应生成模型，从过去的代理回答中提取嵌入导出的答案模板，选择最佳模板生成对客户咨询的回答。在像客户服务这样的封闭领域中，所选模板可以涵盖过去咨询的 70％以上。此外，模型选择的模板的相关性显著优于标准 tf-idf 基线选择的模板。

    Mar, 2017

  • 端到端任务导向对话系统的检索生成对齐

    利用最大边际似然方法训练感知检索器，通过利用生成回应的信号来提高生成回应的质量，并结合元知识指导生成器，以增强知识的利用能力。

    Oct, 2023

  • 面向任务的对话中基于非结构化知识的高效检索增强生成

    本文总结了我们在第九届对话系统技术挑战赛（DSTC 9）第一轨中的工作，我们提出了一种基于层次分类和序列嵌入的检索和生成方法，以实现针对任务导向对话中利用非结构化文本信息的回答生成。

    Feb, 2021

  • DLGNet：基于 Transformer 的对话回复生成模型

    本文介绍基于 transformer 模型的 DLGNet，用于多轮对话生成，实验结果显示 DLGNet 显著优于现有模型且在评估指标方面表现最佳，主要因为长程 transformer 模型的结构和注入随机信息填充的组合。

    Jul, 2019

  • 检索增强减少对话中的幻觉

    本文研究了基于神经检索的循环架构在知识驱动的对话中的应用，将多个组件（检索器、排名器和编码器 - 解码器）结合在一起以最大化可知性并保留对话能力，在两个知识驱动的对话任务中实现了最先进的性能，并经过人工评估证实，大大减少了在最先进的聊天机器人中存在的知识幻觉问题。

    Apr, 2021

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 部署检索为基础的任务导向对话响应模型

    本文提供了一种 3 步程序来开发满足业务要求的对话模型，包括从历史对话中创建模板、使用神经网络建立对话上下文和业务约束，以及通过自我监督和受训者的方法优化模型，并进行实验验证并在人机交互的环境中应用于商业对话。

    Oct, 2022

  • 检索增强转换器用于图像字幕生成

    本论文中，我们研究了一种基于 kNN 记忆的图像字幕生成方法，其中可以从外部语料库中检索知识来辅助生成过程。通过在视觉相似性、差分编码器和 kNN 增强的注意力层之间结合知识检索器来预测基于上下文和从外部内存检索的文本的令牌。在 COCO 数据集上进行的实验结果表明，采用显式的外部存储器可以帮助生成过程并提高字幕质量。我们的工作为更大规模的图像字幕生成模型的改进开辟了新的途径。

    Jul, 2022

  • 面向任务导向对话系统的双向反馈知识检索

    通过整合知识检索和回答生成，本研究提出了一种检索生成器架构，利用检索器获取相关知识并生成系统回应，并通过生成器的反馈建立检索训练标签，通过对三个基准数据集的实验结果证明了方法在任务导向对话任务中的优越性能。

    Oct, 2023