EMNLPOct, 2020

BERT 与否：比较针对任务与任务不可知的半监督序列标注方法

PDF
TL;DR本文探讨了如何有效地利用未标记数据 —— 通过探索任务特定的半监督方法 Cross-View Training (CVT)，并将其与任务不可知的 BERT 在包括领域和任务相关的英语数据的多个设置中进行比较。CVT 使用较轻的模型结构，并表明它在一组序列标记任务上实现了与 BERT 相似的性能，具有更小的经济和环境影响。
transformer-like architecturesunlabeled datacross-view trainingsemi-supervised approachsequence tagging tasks
发现论文，激发创造
  • 交叉视图训练的半监督序列建模

    本文提出一种半监督学习算法 Cross-View Training, 结合无标签文本与有标签数据，通过学习辅助预测模型来提升双向长短时记忆网络（Bi-LSTM）的表示学习能力，取得了在五项序列标记任务，机器翻译和依存句法分析等领域的最优结果。

    Sep, 2018

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • ViLBERT：预训练无任务束缚的视觉语言表示，用于视觉与语言任务

    ViLBERT 是一种用于学习图像内容和自然语言的任务不可知联合表示的模型，并通过在多模态两个流中处理图像和文本输入，通过相互关注变压器层实现交互。我们通过在大型自动收集的概念字幕数据集上执行两个代理任务来预训练我们的模型，然后通过仅对基础体系结构进行轻微添加，将其转移到多个已建立的视觉语言任务 —— 视觉问答、视觉常识推理、指称表达和基于字幕的图像检索，我们观察到与现有特定任务模型相比，在所有四个任务中都实现了显着的改进，成为学习视觉与语言之间接地只作为任务培训的一部分，而不是对待视觉接地作为可预训练和可转移能力的代表性工作。

    Aug, 2019

  • 为新十年打下基础：使用 BERT 进行序列标注、句法和语义分析

    本研究采用最新的语境化嵌入框架 BERT，为词性标注、句法分析和语义分析三个任务提出了最新的技术模型，并在 12 个英文和中文数据集上进行了实验，结果表明 BERT 模型在这三项任务中均优于当前最佳模型平均 2.5％（最显着的情况下是 7.5％），并提供了关于 BERT 嵌入影响的深入分析。

    Aug, 2019

  • 用于无监督学习的快速准确的深度双向语言表示

    提出了一种基于 Transformer 的文本自编码器（T-TA），可以在不需要重复推理的情况下计算上下文语言表示。实验结果表明，在 CPU 环境下，T-TA 在 reranking 任务中比基于 BERT 的模型快六倍，在语义相似性任务中快十二倍，并在这些任务上表现出与 BERT 相当甚至更好的准确性。

    Apr, 2020

  • 基于可转移 BERT 的故事结局预测

    本研究旨在研究一种可转移的 BERT 训练框架，该框架不仅可以从大规模未标记数据中转移一般语言知识，还可以从各种语义相关的监督任务中转移特定类型的知识以用于目标任务。在本实验中，提出了利用三种转移任务，包括自然语言推理、情感分类和下一动作预测，以进一步训练预训练模型的思想，并将故事结尾预测作为目标任务进行实验。最终结果，准确率达到了 91.8％，明显优于先前最先进的基线方法。同时，进行了一些比较实验，给出了一些关于如何选择转移任务的有益建议。通过误差分析，还显示了基于 BERT 的模型在故事结尾预测中的优势和劣势。

    May, 2019

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • 预训练 Transformer 的任务无关数据增强效果如何？

    本文通过对 BERT、XLNet 和 RoBERTa 共 3 个方面、5 个分类任务和 6 个数据集上应用非针对特定任务的数据增强技术（easy data augmentation 和 back-translation）的实验研究，发现之前针对非预训练模型的技术并未能有效地提高预训练模型的性能表现，从而提醒实践者在进行数据增强时需谨慎。

    Oct, 2020

  • MT-Clinical BERT: 使用多任务学习扩展临床信息抽取能力的 BERT 模型

    采用 Multitask-Clinical BERT 模型，可同时执行包括实体抽取、PHI 识别、语言蕴含和相似性在内的 8 种临床任务，极大减轻了信息提取系统的工程负担且表现出色。

    Apr, 2020

  • 领域适应：基于 BERT 语言模型微调的方面 - 目标情感分类

    本文阐述了将领域自适应的 BERT 语言模型与半监督建模进行结合达到最优的 Aspect-Target Sentiment Classification ，并通过不同的数据集得出短语级别情感分类的最新成果，并通过交叉领域验证比较了自适应 BERT 的性能。

    Aug, 2019