Aug, 2019

应答选择中基于 BERT 的有效域自适应后训练方法

PDF
TL;DR本研究基于双向编码器转换器 (BERT) 作为强大的预训练语言模型，针对多轮检索式对话系统中的响应选择问题，提出了一种高效的基于领域特定语料库的后训练方法，发现后训练能帮助模型训练出具有更好上下文表示能力的单词，实验结果显示该方法在两个回答选择基准数据集上达到了新的最优状态（Ubuntu Corpus V1，Advising Corpus），R@1 性能提高了 5.9％和 6％。
发现论文，激发创造
  • 印尼金融 NLP 的领域特定语言模型后训练

    我们在金融领域和印尼语言中进行了一项研究，通过对经过预训练的印尼 BERT 进行金融领域的后训练，并构建了印尼金融文本自监督语料库、印尼金融情感分析数据集和印尼金融主题分类数据集，释放了一系列适用于金融自然语言处理的 BERT 模型。我们还评估了对情感分析和主题分类任务进行领域特定后训练的有效性，发现后训练可以提高语言模型在特定领域下游任务上的效果。

    Oct, 2023

  • 针对基于检索的聊天机器人中的多轮响应选择的说话人感知 BERT

    本文研究了如何使用预训练语言模型解决检索式聊天机器人中的多轮响应选择问题，提出了一种名为 SA-BERT 的新模型，包括说话人感知和解缠策略，并通过领域自适应使性能达到最新的水平。

    Apr, 2020

  • 用于定位医学 BERT 和增强生物医学 BERT 的预训练技术

    本研究探讨了如何通过对特定语料库的过采样和使用更大的语料库进行预训练，在医学和其他领域中建立高性能的 BERT 模型以提高自然语言处理中信息提取的性能。

    May, 2020

  • 利用 Transformer 的双向编码表示进行答案选择

    本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

    Nov, 2020

  • 对话理解领域自适应预训练方法

    本文探讨了领域自适应预训练目标对下游任务的有效性，并通过实验表明，适当的领域自适应预训练目标能够显著提高强基线在对话理解任务上的性能，从而实现了最新的最优表现。

    May, 2021

  • 自适应分词的语言模型高效域适应

    通过适应标记器，将预训练语言模型转移到新领域，提供了与基于专门领域的预训练方法相当的性能，同时生成的模型更小且训练和推断时间更短。

    Sep, 2021

  • 面向任务的对话系统中神经响应选择的训练

    通过在大型通用领域对话语料库上预训练反应选择模型，然后利用小型特定领域数据微调预先训练的模型，本论文提出了一种有效的方法来部署任务导向对话中的响应选择，取得了很好的效果。在六个不同的应用领域，从电子商务到银行业，本方法都表现出了良好的效果。

    Jun, 2019

  • 适应并蒸馏：为特定领域开发小型、快速且高效的预训练语言模型

    本文介绍了一种开发特定领域小型、快速和有效的预训练模型的通用方法，该方法通过对通用预训练模型进行调整，以及在目标领域进行任务无关的知识蒸馏来实现。具体而言，在适应阶段，我们提出了领域特定词汇扩展，并使用语料库级别出现概率自动选择增量词汇表的大小。然后，我们系统地探索了压缩特定领域的大型预训练模型的不同策略。实验结果表明，我们的方法在生物医学和计算机科学领域的特定任务中表现优于 BERT BASE 模型，同时比 BERT BASE 小 3.3 倍，快 5.1 倍。

    Jun, 2021

  • 基于预训练 Transformer 自然语言模型的开放领域对话生成的实证研究

    本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

    Mar, 2020

  • DialogBERT: 通过学习恢复和排序话语生成具有话语意识的响应

    本文提出了 DialogBERT，这是一种新型的对话响应生成模型，通过使用分层 Transformer 架构和两个训练目标，包括掩码语调回归和分布式语调顺序排名来提高先前基于 PLM 的对话模型，在三个多轮对话数据集上进行实验证明，相比于 BART 和 DialoGPT，DialogBERT 在定量评估方面表现出色，并且在人类评估中证明，DialogBERT 比基线模型生成的响应更连贯、信息量更大，并更加接近人类表现。

    Dec, 2020