Oct, 2022

对话响应选择任务自适应预训练

PDF
TL;DR本研究旨在验证先前论文中提出的关于初始化选择的假设和理解 DRS 改进的来源，研究表明使用 RoBERTa 初始化的性能与 BERT 类似，而 MLM+NSP 可以优于先前提出的所有 TAP 任务，并且 NSP 任务对于 DRS 非常重要，与常见的 NLU 任务不同，通过 TAP 步骤是 DRS 改进的主要来源。
dialogue response selectiontask-adaptive pre-trainingrobertafine-grained learning tasksnsp task
发现论文，激发创造
  • 文本分类任务自适应预训练的简单高效方法

    该文章研究了在 TAPT 过程中只训练 BERT 模型的嵌入层对模型性能的影响，并提出了一种简单的方法来使 BERT 模型在中间步骤更加高效，该方法是培训 BERT 模型的嵌入层，可以适应目标领域的词汇并达到可比较的性能。

    Sep, 2022

  • 面向任务自适应的预训练和自我训练在自然语言理解中互为补充

    本文研究几种半监督学习方法提高自然语言理解任务的性能，证明了 Task-adaptive pre-training 和 Self-training 可以通过 TFS protocol 结合使用，使学习所得的表示更加有效，进而在情感分类、语义匹配、命名实体识别和对话槽位分类等多个数据集上获得了显著的提升，在半监督设置下获得了强大的加法收益。经验证明，TFS protocol 可以作为未来 NLP 研究的一个重要的半监督学习基线。

    Sep, 2021

  • 现代语言模型的损失函数

    本文探讨了 BERT 预训练在 NSP 任务上的影响以及其他 14 种可能的辅助预训练任务，并研究了将多个任务包含到预训练中的不同方法。实验证明，使用多种任务的多任务预训练框架比单个辅助任务更好地提高了结果表现，并在 GLUE 基准测试中打败了 BERT Base。

    Oct, 2020

  • 问题回答的跨度选择预训练

    本篇论文提出了一种新的预训练模型 SSPT，即 Span Selection Pre-Training，通过将预训练模型任务转换为阅读理解，从而提高 BERT 及其他预训练模型的学习能力，实验证明该方法对于数据集有限的场景下表现尤为出色。

    Sep, 2019

  • 面向任务的对话系统中神经响应选择的训练

    通过在大型通用领域对话语料库上预训练反应选择模型，然后利用小型特定领域数据微调预先训练的模型，本论文提出了一种有效的方法来部署任务导向对话中的响应选择，取得了很好的效果。在六个不同的应用领域，从电子商务到银行业，本方法都表现出了良好的效果。

    Jun, 2019

  • 面向口语对话的任务导向对话建模的通用模型

    本文介绍了我们在 DSTC-10 上构建对话模型的方法。为缩小口头和书面数据之间的差距，我们采用了大量数据扩增策略，包括人工误差注入和文本转语音转换。我们改良了预训练语言模型，并对每个子任务应用了集成算法，以训练稳健的口头对话模型。我们的方法在官方评估中排名第三，在最终的正式人类评估中排名第二。

    Mar, 2022

  • BERTSel：基于预训练模型的答案选择

    使用预训练模型 BERT 进行微调以提高答案选择任务的性能并在五个数据集上获得 STOA 结果

    May, 2019

  • 以响应选择为辅助任务的高效任务导向型对话系统

    本文提出两种具有辅助任务的模型，用于响应选择，并在 MultiWOZ 2.1 数据集上取得了 107.5 和 108.3 的综合分数，优于具有三倍以上的参数基线模型。

    Aug, 2022

  • 应答选择中基于 BERT 的有效域自适应后训练方法

    本研究基于双向编码器转换器 (BERT) 作为强大的预训练语言模型，针对多轮检索式对话系统中的响应选择问题，提出了一种高效的基于领域特定语料库的后训练方法，发现后训练能帮助模型训练出具有更好上下文表示能力的单词，实验结果显示该方法在两个回答选择基准数据集上达到了新的最优状态（Ubuntu Corpus V1，Advising Corpus），R@1 性能提高了 5.9％和 6％。

    Aug, 2019

  • NSP-BERT: 一种基于提示的少样本学习器，通过原始预训练任务进行 -- 接下来的句子预测

    本文利用 BERT 的原始预训练任务 Next Sentence Prediction（NSP）探索零样本学习场景下的自然语言处理任务，提出了基于句子级别的 NSP-BERT 方法，克服了标记级方法的固定长度和位置限制，可应用于实体链接等任务。作者还提出了多种下游任务的快速构建模板和两阶段提示方法。在 FewCLUE 基准测试中，NSP-BERT 在大多数任务上超过其他零样本方法，并接近少样本方法。

    Sep, 2021