ACLJun, 2021

MPC-BERT: 用于多方会话理解的预训练语言模型

PDF
TL;DRMPC-BERT 是一种预训练的神经模型，通过学习谁对谁说什么，结合几个自监督任务，在多方对话任务中表现出比以前的方法更好的性能。
multi-party conversationneural modelsmpc-bertpre-trained modelconversation understanding
发现论文，激发创造
  • DialogueBERT：基于自监督学习的对话预训练编码器

    本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。

    Sep, 2021

  • 多方目标跟踪与 LLMs：预训练、微调和提示工程比较

    通过对大规模语言模型在任务导向的多方对话中捕捉能力的评估，本研究记录并转录了医院中患者、他们的陪伴者和社交机器人之间的 29 个多方对话，并对此语料库进行了多方目标跟踪和意图 - 插槽识别的注释。我们在零样本和少样本设置中比较了三种方法，即微调 T5，使用 LED 创建预训练任务以训练 DialogLM，并采用 GPT-3.5-turbo 的提示工程技术，以确定哪种方法可以用有限数据完成这一新任务。在少样本设置中，GPT-3.5-turbo 显著优于其他方法。当给出例子注释对话中 7% 的语料库时，“推理” 风格的提示是效果最好的方法。它正确注释了 62.32% 的目标跟踪多方对话和 69.57% 的意图 - 插槽识别多方对话。而 “故事” 风格的提示会增加模型的虚构成分，在安全关键环境中可能会有不利影响。我们得出结论，多方对话仍然对最先进的大规模语言模型构成挑战。

    Aug, 2023

  • ChatGPT 是否是一个良好的多方对话解决器？

    利用 ChatGPT 和 GPT-4 等生成型大型语言模型对多方对话进行评估与分析，揭示了利用生成型大型语言模型处理多方对话所面临的挑战以及可行的解决方案。

    Oct, 2023

  • 利用潜在话语推断预训练多方对话模型

    通过无监督潜在变量推理方法联合推断对话结构并预训练多方对话感知模型，实现了优于基线的最新技术结果。

    May, 2023

  • HeterMPC：一种用于多方对话中回应生成的异构图神经网络

    提出了一种基于异构图神经网络的多方会话响应生成模型，通过建模话语和交互者的语义信息及设计不同类型的元关系来处理多方对话中的结构信息，实验证明其在 Ubuntu Internet Relay Chat（IRC）通道基准测试上优于其他基线模型。

    Mar, 2022

  • 以 Prompted LLMs 作为聊天机器人模块进行长时间开放域对话

    本文提出了一种新的方法 MPC（模块化提示聊天机器人），该方法利用预训练的大型语言模型作为独立模块，通过使用 few-shot prompting、chain-of-thought 和外部记忆等技术，实现长期的一致性和灵活性。我们的人类评估结果表明，MPC 在开放域对话中与精调聊天机器人模型相当，是创建一致和引人入胜聊天机器人的有效解决方案。

    May, 2023

  • Transformer 基于语音识别的无监督预训练的进一步研究

    本文通过进一步研究 Masked Predictive Coding 的三个重要方面：预训练数据的发言风格，对流式模型的扩展和如何更好地将预训练阶段的知识转移，实验证明，在下游识别任务中，预训练数据与匹配的发言风格更有用，使用 APC 和 MPC 的统一培训目标在 HKUST 上训练的流式模型上提供了 8.46％的相对错误率降低，目标数据适应和逐层判别式培训的组合有助于 MPC 的知识转移，在 AISHELL 上相对基线实现了 3.99％的错误率降低。

    May, 2020

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 针对基于检索的聊天机器人中的多轮响应选择的说话人感知 BERT

    本文研究了如何使用预训练语言模型解决检索式聊天机器人中的多轮响应选择问题，提出了一种名为 SA-BERT 的新模型，包括说话人感知和解缠策略，并通过领域自适应使性能达到最新的水平。

    Apr, 2020

  • GIFT: 基于图的多方会话理解 Fine-Tuning

    通过设计四种边将图诱导信号引入注意力机制，我们提出了一种名为图诱导微调 (GIFT) 的轻量级方法，可用于多方对话的普适性理解。通过将其应用到三个预训练的语言模型中，我们发现 GIFT 可以在三项下游任务中显着提高模型性能，仅每层编码增加 4 个参数，在多方对话理解领域实现了最新的最佳性能。

    May, 2023