本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

May, 2021

本文介绍了一种基于后处理的知识注入技术，该技术从外部源中提取相关知识，并将其合并到对话响应中，实验表明使用这种方法可以在目标导向和基于知识的对话环境中实现更具吸引力和更丰富的对话响应。

Mar, 2022

本文介绍一种使用预处理的深度语境化文本编码器 BERT 来改善自然语言任务，包括抽象概括，并提出一种自我监督的方法来弥补对话概括模型的缺陷。在共享的编码器 - 解码器架构上构建和微调抽象对话概括模型，并在最近引入的 SAMSum 语料库中经验性地评估，证明我们的方法在抽象概括中做出了改进。

Sep, 2022

本研究提出了一种基于预训练语言模型的上下文相应匹配模型，引入了四个自我监督任务，并与 auxiliary tasks 一起多任务训练 PLM-based 响应选择模型，旨在提高多轮响应选择的准确性。实验结果表明，在检索式对话中，引入辅助自我监督任务对多轮响应选择带来了显著的改进，本模型在两个数据集上都达到了最新的最优结果。

Sep, 2020

我们提出了一种半监督预训练方法，通过考虑文本和语音信息来检测语音中的自发行为标签，并使用语言感知编码器建模对话中每个句子之间的关系。实验结果表明，我们的方法能够实现更好的表达式语音合成性能，具备对自发式语音的自发行为建模以及从文本中预测合理的自发行为的能力。

Aug, 2023

本文以学习到的密集表示为基础，描述了一种紧凑而有效的模型，用于对话搜索中的低延迟段落检索。 通过将对话查询重构直接整合到密集检索模型中，我们提出了一种新方法来解决现有流程的问题。 在构建具有伪相关性标签的数据集的基础上，证明了该模型可用于会话检索和开放域问答数据集，最后通过改进的检索模型学习到的特性，支持混合检索和错误分析。

Apr, 2021

本研究通过自监督学习方式，包括不连贯性识别，插入检测以及问题预测，明确捕捉口语对话文档之间的指代消解和对话连贯性，提高了口语对话的意义和连贯性。在 Spoken-CoQA 数据集上取得了最先进的结果。

Jun, 2021

本文提出了一种基于预训练的个性化对话模型，利用个人属性嵌入来丰富对话语境，结合注意力路由结构进行解码，从而生成更为连贯且人物一致的回答。

Nov, 2019

本文介绍了一种名为 SPACE-3 的新型半监督预训练会话模型，它可以从大规模对话语料库中学习任务导向对话系统所需的语义向量表达，并在若干下游任务中表现出领先的性能。

Sep, 2022

本文提出了一种基于半监督学习的、使用预先训练的端到端自动语音识别（E2E ASR）和自监督语言模型（如 BERT）进行微调的通用语义理解框架，该框架可从转录或未转录的语音中直接学习语义来解决一些 SLU 模型中的问题，如 ASR 错误、意图预测而不是词槽预测以及在大量训练数据不足的情况下训练。实验结果表明，该框架对于语义理解可以与使用 Oracle 文本作为输入的模型相媲美，具有良好的环境噪声鲁棒性，并且在训练集有限的情况下也能达到较好的效果。

Oct, 2020