Sep, 2021

DialogueBERT：基于自监督学习的对话预训练编码器

PDF
TL;DR本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。
artificial intelligenceconversational botsdialoguebertpre-trained language modeldialogue understanding
发现论文，激发创造
  • DialogBERT: 通过学习恢复和排序话语生成具有话语意识的响应

    本文提出了 DialogBERT，这是一种新型的对话响应生成模型，通过使用分层 Transformer 架构和两个训练目标，包括掩码语调回归和分布式语调顺序排名来提高先前基于 PLM 的对话模型，在三个多轮对话数据集上进行实验证明，相比于 BART 和 DialoGPT，DialogBERT 在定量评估方面表现出色，并且在人类评估中证明，DialogBERT 比基线模型生成的响应更连贯、信息量更大，并更加接近人类表现。

    Dec, 2020

  • 利用自我监督方法增强语义理解，用于抽象对话摘要

    本文介绍一种使用预处理的深度语境化文本编码器 BERT 来改善自然语言任务，包括抽象概括，并提出一种自我监督的方法来弥补对话概括模型的缺陷。在共享的编码器 - 解码器架构上构建和微调抽象对话概括模型，并在最近引入的 SAMSum 语料库中经验性地评估，证明我们的方法在抽象概括中做出了改进。

    Sep, 2022

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • TOD-BERT: 面向任务导向对话的预训练自然语言理解

    本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

    Apr, 2020

  • DialBERT：一种用于对话分离的分层预训练模型

    提出了一种整合局部和全局语义的新模型 Dialogue BERT (DialBERT) 来解决在同一通道中同时发生多个对话的混淆问题，其中使用 BERT 在 utterance 级别捕捉每个 utterance 对信息的匹配信息，并使用 BiLSTM 聚合和合并 context 级别信息，与 BERT 相比，只增加了 3% 的参数，并取得了 12% 的 F1-Score 提升，该模型在 IBM 提出的新数据集上达到了最先进的结果，并大幅超越了先前的工作。

    Apr, 2020

  • EmotionX-IDEA: 情感 BERT—— 一种面向对话的情感模型

    本文研究了预训练语言模型 BERT 在情感识别中的能力。通过 BERT 的框架和两句话的结构，我们将其应用于连续对话情感预测任务中，并依赖于句子级上下文感知理解。实验表明，通过将连续对话映射到因果话语对中，该模型能更好地捕获回复话语的情感。该方法在 Friends 和 EmotionPush 的测试数据集中取得了 0.815 和 0.885 微型 F1 分数。

    Aug, 2019

  • MPC-BERT: 用于多方会话理解的预训练语言模型

    MPC-BERT 是一种预训练的神经模型，通过学习谁对谁说什么，结合几个自监督任务，在多方对话任务中表现出比以前的方法更好的性能。

    Jun, 2021

  • 针对基于检索的聊天机器人中的多轮响应选择的说话人感知 BERT

    本文研究了如何使用预训练语言模型解决检索式聊天机器人中的多轮响应选择问题，提出了一种名为 SA-BERT 的新模型，包括说话人感知和解缠策略，并通过领域自适应使性能达到最新的水平。

    Apr, 2020

  • 基于预训练 Transformer 自然语言模型的开放领域对话生成的实证研究

    本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

    Mar, 2020

  • 遮蔽编排：多任务预训练用于多角色对话表示学习

    该研究基于各类无监督预训练任务探究对话上下文表示的学习，并通过精细调整的预训练机制，有效整合了外部知识，能够大幅提高对话提取 / 摘要等下游任务的效果。

    Feb, 2020