预训练语言模型是否可应用于基础开放领域对话？

Nov, 2020

预训练语言模型是否可应用于基础开放领域对话？

Are Pre-trained Language Models Knowledgeable to Ground Open Domain Dialogues?

Yufan Zhao, Wei Wu, Can Xu

TL;DR通过使用预训练语言模型，我们尝试研究知识相关对话生成的相关性，发现在使用仅包含少量知识对话的细调过程中，预训练语言模型可以超越需要外部知识的最先进的模型，在自动评估和人类判断方面表现更好。

Abstract

We study knowledge-grounded dialogue generation with pre-trained language models. Instead of pursuing new state-of-the-art on benchmarks, we try to understand if the knowledge stored in parameters of the pre-trained models is already enough to ground open domain dialogues, and thus all

knowledge-grounded dialogue generation pre-trained language models external knowledge fine-tuning automatic evaluation

发现论文，激发创造

基于预训练语言模型的知识驱动对话生成

我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

Oct, 2020

语言模型作为知识库吗？

通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

Sep, 2019

从大型预训练模型中引导知识，以实现无监督的知识驱动对话

本文探究了大规模预训练在知识引导对话中的应用。通过各种方法获取大型模型的知识，利用后验重加权和嘈杂训练策略进一步挖掘其价值，并在两个基准数据上进行了实验，结果表明其优于现有的最新方法。

Nov, 2022

基于预训练 Transformer 自然语言模型的开放领域对话生成的实证研究

本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

Mar, 2020

低资源知识驱动对话生成

在低资源环境下，通过设计一种解耦响应解码器使模型可以仅从大量未接地对话和非结构化文档中学习，而只使用有限的训练示例就能很好地拟合剩余的小参数。在两个基准测试上的评估结果表明，我们的模型仅使用 1/8 的训练数据就可以实现最先进的性能，而且对领域外知识有很好的概括能力。

Feb, 2020

面向对话 AI 的预训练语言模型简要调查 ——NLP 的新时代

本文概述了预训练语言模型在对话系统中的应用，目的是讨论这些模型是否能克服对话系统所面临的挑战，以及如何利用它们的架构来克服这些挑战，并探讨了对话系统领域的开放性挑战。

Apr, 2021

生成式预训练语言模型可作为封闭式问答知识库吗？

本研究探索了使用预训练语言模型作为知识库回答开放性问题的方法，构建了一个新的 SQuAD 数据集对 BART 进行了评估，并发现对 BART 来说，在高精度记忆训练事实和回答封闭式问题方面存在挑战，需要将知识记忆过程与 QA 微调过程分开，强制模型在回答问题时记住相关知识。

Jun, 2021

利用预训练生成语言模型的视频对话

本文提出了一种基于 GPT-2 模型的框架，将视频与文本表示结合成连续、有结构的序列，并利用其 fine-tuning 能力来解决视频对话中的挑战，从而在 Audio-Visual Scene-Aware Dialogues 基准测试中取得了显著的改进。

Jun, 2020

探测神经对话模型的对话理解能力

本研究分析了神经网络开放领域对话系统所学习的内部表示，并评估了这些表示的质量以学习基本的交谈技巧。结果表明，标准的开放领域对话系统难以回答问题、推断矛盾并确定对话话题等任务，需要更多的研究来探讨建筑和训练方法，从而更好地捕捉有关对话的高级信息。

Jun, 2020

语言模型参数中能够包含多少知识？

本文研究采用预训练的神经语言模型 Fine-tuning 技术回答问题，证实这种方法不需要额外的上下文或知识，并能有效解决竞争性问题。我们提供代码和训练的模型以促进可重复性和未来的工作。

Feb, 2020