对话领域适应的混合生成 - 检索 Transformer

AAAIMar, 2020

对话领域适应的混合生成 - 检索 Transformer

Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation

Igor Shalyminov, Alessandro Sordoni, Adam Atkinson, Hannes Schulz

TL;DR本文提出了基于 GPT-2 微调多领域 MetaLWOz 数据集的混合生成 - 检索模型，具有稳健、多样的响应生成能力，在领域自适应任务中取得了最优结果，并在适应未见过的 MultiWOZ 数据集时表现出竞争力的泛化性能。

Abstract

domain adaptation has recently become a key problem in dialogue systems research. deep learning, while being the preferred technique for m

domain adaptation dialogue systems deep learning few-shot learning generative-retrieval model

发现论文，激发创造

检索增强的 Transformer-XL 用于闭域对话生成

本研究提出了基于 Transformer 的多轮对话响应生成模型，采用新颖的检索机制，结合 k 最近邻搜索，基于 Google 发布的 Taskmaster-1 数据集和真实的客户服务呼叫中心数据集进行评估，结果优于强基线模型。

May, 2021

利用多样数据生成实现可调适的零样本对话状态追踪

通过增加使用合成数据生成技术来提高零 - shot 对话状态追踪（DST）准确性的多样性的训练数据，本研究证明了可实现的巨大收益。该研究通过使用一种新颖的全自动数据生成方法来创建合成的零 - shot DST 训练资源，克服了当前 DST 训练资源在应用领域和槽类型方面的严重限制，该方法生成全新的应用领域以及具备银标注和槽描述的对话。该方法用于创建 D0T 数据集以训练零 - shot DST 模型，该数据集涵盖了 1000 多个领域。在 MultiWOZ 基准测试中进行的实验表明，使用多样化合成数据训练模型可以改善 + 6.7% 的联合目标准确率，达到与更大模型相竞争的结果。

May, 2024

大型语言模型的领域自适应重构为适应 - 检索 - 修订

通过适应、检索和修订的过程，这篇论文介绍了一个简单而有效的领域适应框架，将大型语言模型 GPT-4 应用到特定领域的内容生成，以增加准确性和避免内容幻觉。

Oct, 2023

将大规模生成模型的知识提炼为检索模型，用于高效的开放域对话

提出了一种新的训练方法，称为 G2R（Generative-to-Retrieval distillation），它通过将生成模型的知识注入检索模型中，从而保留检索模型的效率和大规模生成模型的会话能力，通过人工评估等广泛实验证明，使用 G2R 训练的检索型对话系统相比于基准检索模型显示出大幅提高的性能，同时显示出显着较低的推理延迟。

Aug, 2021

基于预训练语言模型的任务导向对话系统研究 —— 以 GPT-2 为例

本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型，并在 MultiWOZ 数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

Jul, 2019

知识感知图增强的 GPT-2 用于对话状态跟踪

本文介绍了一种新的混合架构，将 GPT-2 与来自 Graph Attention Networks 的表示相结合，以实现逐步预测插槽值，并捕获跨域的插槽之间的关系和依赖关系，以提高多域会话跟踪的性能。该模型通过图模块捕获插槽之间的相互依赖性并提高了跨多个域常见的值的预测。

Apr, 2021

从沙子中筛选更多的金子：利用有噪声的自我检索生成优化开放域对话训练

通过引入 BERTScore 提高证据质量，构建 retrieval-generation 训练框架，利用信息丰富但杂乱无章的对话数据，能使模型生成更好的响应，甚至比扩大培训集带来更好的性能提升。

Jan, 2022

以任务为导向的对话系统作为自然语言生成

本文提出了一种基于大规模预训练模型（如 GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的 GPT-Adapter-CopyNet 网络，它将轻量级 adapter 和 CopyNet 模块融入 GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。

Aug, 2021

学生 - 教师架构在元学习环境下用于对话领域自适应

提出了一种高效的领域自适应任务导向对话系统模型，通过使用元教师模型量化不同领域中上下文下生成的令牌的重要性来指导对话模型，实现更好的自适应效果并达到最先进的性能水平。

Apr, 2021

端到端任务导向对话系统的检索生成对齐

利用最大边际似然方法训练感知检索器，通过利用生成回应的信号来提高生成回应的质量，并结合元知识指导生成器，以增强知识的利用能力。

Oct, 2023