Jul, 2022

利用自然监督进行语言表示学习和生成

PDF
TL;DR本论文研究了三个方面的工作：如何提高预训练模型在 NLP 任务中的性能，在维基百科和释义上利用语言结构以提取知识，以及定制文本资源以建立挑战性的评估任务。
natural language processingneural modelswikipediaparaphrasesevaluation tasks
发现论文，激发创造
  • 优化非监督学习和监督学习：精确自然语言任务建模的混合方法

    本文提出了一种新颖的混合方法，通过协同无监督和有监督学习，来提高自然语言处理任务建模的准确性。通过集成无监督模块和有监督模块，该方法在文本分类和命名实体识别方面取得了最新技术结果，为更高效和强大的自然语言处理系统铺平了道路。

    Jun, 2024

  • 附带监督：超越监督式学习

    通过多种设计好的学习范式来缓解监督瓶颈，以在文本中诱导各种语义表征，从而帮助决策，减少生成必要的监督信号导致的代价和不可扩展的问题。

    May, 2020

  • 注入语义依存关系的微调

    应用语言模型结构代替任务特定的监督并使用卷积图编码器通过显式引入语义解析提高 NLU 任务的性能。

    Dec, 2020

  • 弱监督下的选择性学习用于释义生成

    本文提出了利用元学习框架解决弱监督下的释义生成任务，并通过检索式的伪释义扩展获取大量弱标注平行句子，进而选择有价值的样本对预训练语言模型 BART 进行微调，从而生成高质量释义的方法，与目前的无监督学习方法相比具有显著的改进。

    Sep, 2021

  • 预训练语言模型无监督的改写技术

    本文研究了基于转移学习的无监督方法生成高质量的同义改写，其中采用了任务自适应、自监督学习和名为 Dynamic Blocking 的新型解码算法。该方法在问答数据集和 ParaNMT 数据集上均取得了最新的性能，并且在不同语言改写中具有良好的迁移性能。

    Oct, 2020

  • 自然语言处理任务中的迁移学习监督上下文嵌入

    本文关注于从多个预训练的监督模型中提取表示，以丰富单词嵌入具有任务和领域特定的知识，实验表明这样的监督嵌入对于低资源情况有所帮助，但对于任务和领域的性质不同的扩展程度不同，而我们公开了我们的代码。

    Jun, 2019

  • 从自然语言推理数据中监督学习通用句子表示

    本研究探讨了利用 Stanford 自然语言推断数据集的监督学习训练通用句子向量表示，相比于 SkipThought 等无监督方法，该方式在多种迁移学习任务中表现更优，因此表明自然语言推断适用于迁移学习。

    May, 2017

  • 探究预训练和知识增强模型在自然语言推理中的应用的多个实验

    该研究探索了无监督预训练和外部知识对自然语言推断任务的影响，以了解其如何帮助自然语言理解和解决 NLP 问题。

    Apr, 2019

  • 自然语言处理中对比预训练概述：方法、经验教训和展望

    本文总结了最近自监督和有监督对比 NLP 预训练方法，并描述了它们在提高语言建模、零样本学习、预训练数据效率和特定 NLP 终端任务方面的应用。文章介绍了关键的对比学习概念，总结了应用和交叉领域关系的结果。最后，我们指出了对比 NLP 的未来挑战和方向，以鼓励将对比 NLP 预训练推向近期在图像表示预训练中的成功。

    Feb, 2021

  • 双向语言模型的半监督序列标注

    本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

    Apr, 2017