AAAIDec, 2020

DialogBERT: 通过学习恢复和排序话语生成具有话语意识的响应

PDF
TL;DR本文提出了 DialogBERT，这是一种新型的对话响应生成模型，通过使用分层 Transformer 架构和两个训练目标，包括掩码语调回归和分布式语调顺序排名来提高先前基于 PLM 的对话模型，在三个多轮对话数据集上进行实验证明，相比于 BART 和 DialoGPT，DialogBERT 在定量评估方面表现出色，并且在人类评估中证明，DialogBERT 比基线模型生成的响应更连贯、信息量更大，并更加接近人类表现。
conversational response generationpre-trained language modelshierarchical transformer architecturediscourse-level coherencemasked utterance regression
发现论文，激发创造
  • DialogueBERT：基于自监督学习的对话预训练编码器

    本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。

    Sep, 2021

  • 基于创新的 Bert 重新排序语言模型在语音识别中的应用

    本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设，同时融合了任务特定的全局主题信息。实验表明，相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法，本方法在 AMI 基准语料库上的有效性和可行性得到了证实。

    Apr, 2021

  • TOD-BERT: 面向任务导向对话的预训练自然语言理解

    本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

    Apr, 2020

  • DialBERT：一种用于对话分离的分层预训练模型

    提出了一种整合局部和全局语义的新模型 Dialogue BERT (DialBERT) 来解决在同一通道中同时发生多个对话的混淆问题，其中使用 BERT 在 utterance 级别捕捉每个 utterance 对信息的匹配信息，并使用 BiLSTM 聚合和合并 context 级别信息，与 BERT 相比，只增加了 3% 的参数，并取得了 12% 的 F1-Score 提升，该模型在 IBM 提出的新数据集上达到了最先进的结果，并大幅超越了先前的工作。

    Apr, 2020

  • 针对基于检索的聊天机器人中的多轮响应选择的说话人感知 BERT

    本文研究了如何使用预训练语言模型解决检索式聊天机器人中的多轮响应选择问题，提出了一种名为 SA-BERT 的新模型，包括说话人感知和解缠策略，并通过领域自适应使性能达到最新的水平。

    Apr, 2020

  • 面向稳健的在线对话响应生成

    通过采用分层抽样的方法，引入了强化学习和重新排序机制，以提高聊天机器人在实际应用场景中的鲁棒性，并缓解聊天机器人在多轮对话中生成不一致响应的问题。

    Mar, 2022

  • 对话推理：通过上下文阅读理解提升响应生成

    本文提出一种联合框架，用于改善多轮对话中回复生成的表现。这种框架结合了阅读理解任务和回复生成任务，共享相同的编码器来提取共同且与任务无关的特征和不同的解码器来学习任务特定的特征。用记忆更新器增强 Transformer 体系结构以更好地将问题和对话历史的信息融合在编码部分，并在大规模对话阅读理解数据集上进行了实验，结果显示该模型对于两个任务都带来了显著的改进。

    Dec, 2020

  • 利用自动会话评估器实现连贯和引人入胜的口语对话响应生成

    本研究提出一个评估聊天机器人响应的系统，利用明确的反馈机制改进神经响应图生成模型，从而获得更具连续性和参与度的响应。

    Apr, 2019

  • 部署检索为基础的任务导向对话响应模型

    本文提供了一种 3 步程序来开发满足业务要求的对话模型，包括从历史对话中创建模板、使用神经网络建立对话上下文和业务约束，以及通过自我监督和受训者的方法优化模型，并进行实验验证并在人机交互的环境中应用于商业对话。

    Oct, 2022

  • DLGNet：基于 Transformer 的对话回复生成模型

    本文介绍基于 transformer 模型的 DLGNet，用于多轮对话生成，实验结果显示 DLGNet 显著优于现有模型且在评估指标方面表现最佳，主要因为长程 transformer 模型的结构和注入随机信息填充的组合。

    Jul, 2019