Apr, 2020

DialBERT：一种用于对话分离的分层预训练模型

PDF
TL;DR提出了一种整合局部和全局语义的新模型 Dialogue BERT (DialBERT) 来解决在同一通道中同时发生多个对话的混淆问题，其中使用 BERT 在 utterance 级别捕捉每个 utterance 对信息的匹配信息，并使用 BiLSTM 聚合和合并 context 级别信息，与 BERT 相比，只增加了 3% 的参数，并取得了 12% 的 F1-Score 提升，该模型在 IBM 提出的新数据集上达到了最先进的结果，并大幅超越了先前的工作。
发现论文，激发创造
  • 双层对比度学习实现对话区分

    该研究提出了一种基于双层对比学习的通话分离模型，旨在处理多方对话中的基本任务，同时在有监督和无监督学习的设置下，均可取得最先进的性能表现。

    Oct, 2022

  • DialogueBERT：基于自监督学习的对话预训练编码器

    本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。

    Sep, 2021

  • DialogBERT: 通过学习恢复和排序话语生成具有话语意识的响应

    本文提出了 DialogBERT，这是一种新型的对话响应生成模型，通过使用分层 Transformer 架构和两个训练目标，包括掩码语调回归和分布式语调顺序排名来提高先前基于 PLM 的对话模型，在三个多轮对话数据集上进行实验证明，相比于 BART 和 DialoGPT，DialogBERT 在定量评估方面表现出色，并且在人类评估中证明，DialogBERT 比基线模型生成的响应更连贯、信息量更大，并更加接近人类表现。

    Dec, 2020

  • 重新审视话语论以进行对话分离

    本文提出了一种基于异构图表示的对话解缠方法，构建了不同的讨论结构特征模型，包括静态发言角色结构和动态背景结构，并采用层级排名损失和易于首先解码算法来实现话语理解和分离。

    Jun, 2023

  • 通过协同训练实现非监督式对话解耦

    本文提出了一种利用深度协同训练算法，在没有人工标注数据的情况下，训练会话分离模型的方法。该方法由两个神经网络：消息对分类器和会话分类器组成，分别用于检索两条消息之间的本地关系，以及通过捕获上下文感知信息将消息分类到会话中。实验结果表明，本方法在多方响应选择下游任务中具有竞争力。

    Sep, 2021

  • 使用指针网络进行在线对话分离

    本文提出了一种面向在线对话分离的端到端框架，利用注意力机制和联合学习目标实现对话分离，并在 Ubuntu IRC 数据集上取得了表现最好的结果。

    Oct, 2020

  • TOD-BERT: 面向任务导向对话的预训练自然语言理解

    本文通过整合多个人机对话数据集，结合用户和系统记号改良预训练模型，提出了对话任务 BERT（TOD-BERT）模型，并通过四个对话应用领域的实验验证，表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT，并且具有更强的少量数据学习能力。

    Apr, 2020

  • DeBERTa: 解码增强的 BERT（具有分离的注意力机制）

    本文提出一种新的模型结构 DeBERTa，采用解缩融合模块和增强的掩膜解码器改进 BERT 和 RoBERTa 模型，在模型预训练和下游自然语言处理任务中显著提高效率和性能。它采用局部结构，实现了两种训练方法的密集耦合，不仅在 NLU 和 NLG 下游任务中取得明显好成绩，在 SuperGLUE 基准测试中也超过人类的得分。

    Jun, 2020

  • 针对基于检索的聊天机器人中的多轮响应选择的说话人感知 BERT

    本文研究了如何使用预训练语言模型解决检索式聊天机器人中的多轮响应选择问题，提出了一种名为 SA-BERT 的新模型，包括说话人感知和解缠策略，并通过领域自适应使性能达到最新的水平。

    Apr, 2020

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018