Nov, 2018

STILTS 上的句子编码器：对中间标签数据任务的补充训练

PDF
TL;DR本文旨在探讨通过预训练句子编码器加语言建模和相关无监督任务，再加上富数据的有监督任务，如自然语言推断等方式进一步训练，可显著提高 GLUE 基准测试性能并降低随机重启的变异性，并证明该方法特别适用于数据受限制的条件下。
发现论文，激发创造
  • 超越语言建模的句子级预训练：你能告诉我如何通过芝麻街吗？

    本文首次对 19 个候选预训练任务进行了系统研究，比较了它们作为语言建模替代方案和互补方案的不同表现。研究结果支持使用语言建模，尤其是结合预先训练的其他标记数据任务。然而，研究结果混杂，显示出一些令人担忧的趋势，同时也展示出更复杂的多任务和转移学习技术的发展作为进一步研究的途径。

    Dec, 2018

  • 使用监督对比学习的句子嵌入

    本文提出了一种使用对比学习进行监督学习 Fine-tuning 预训练 BERT 模型以创建高效句子嵌入的新方法，相比于只使用基于交叉熵的监督学习的当前最先进方法 SBERT，我们的方法可以在句子转换和语义文本相似度基准测试上改进 2.8％和 1.05％。

    Jun, 2021

  • 自我训练提升自然语言理解的预训练

    本文研究了一种使用自训练方法的半监督学习，提出了 SentAugment 数据增强方法，并取得了在文本分类任务上高达 2.6% 的改进。

    Oct, 2020

  • ZEN 2.0: N-Gram 增强文本编码器的继续训练和适应

    本研究提出了使用大规模数据和先进技术针对 n-gram 的预训练编码器，并成功将其拓展到不同语言和领域中，得到了在多项 NLP 任务中表现优异的结果。

    May, 2021

  • 智能代理中口语理解的无监督迁移学习

    通过使用语言模型的嵌入（ELMo）技术，提出了一种更快、更简单的无监督预训练方法 ELMo-Light（ELMoL），在大量未标记的句子上进行的无监督预训练，在语音识别任务上比从头开始训练或传统的有监督迁移学习方法表现更好，并且当域内的标记样本仅有 1000 个时，我们的技术可以匹配使用 10-15 倍更多标记的样本从头开始训练的性能。

    Nov, 2018

  • 使用多任务学习还是中间微调进行预训练编码器转移学习的决策

    本文研究比较了三种自然语言处理中的迁移学习方法，即 STILTs、MTL 以及 MTL-ALL 的表现。结果显示，MTL-ALL 的性能不如其他两种方法，而在目标任务比较少的情况下，性能较好的是采用 pairwise MTL 方法。

    May, 2022

  • 语言模型教给你的句法知识比翻译多：通过辅助任务分析所学到的教训

    该研究比较了四种不同的预训练目标（语言模型、翻译、跳跃思考和自编码）对模型学习语言信息和句法信息的影响，结果表明语言模型对于转移学习和需要句法信息的应用最为适合。

    Sep, 2018

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017

  • 从自动挖掘的同义句训练有效的神经句子编码器

    本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

    Jul, 2022

  • 利用自然监督进行语言表示学习和生成

    本论文研究了三个方面的工作：如何提高预训练模型在 NLP 任务中的性能，在维基百科和释义上利用语言结构以提取知识，以及定制文本资源以建立挑战性的评估任务。

    Jul, 2022