May, 2020

自然语言处理中的神经非监督领域自适应 -- 一项调查

HTML
PDF
TL;DR本篇综述针对最近的研究进展，对不需要标记目标领域数据的神经无监督领域自适应技术进行了概述，包括从传统非神经方法到预训练模型迁移的方法，并揭示了自然语言处理任务类型中存在的偏见问题以及未来的研究方向，特别是面向 NLP 的超分布通用化需求。
发现论文，激发创造
  • 基于特征嵌入的无监督域适应

    本研究提出一种基于特征嵌入、利用NLP问题中常见的特征模板结构的新颖但简单的特征学习方法来提高无监督领域自适应的性能。

    Dec, 2014

  • 参数增强的神经网络域适应

    本文提出了一种简单的领域自适应方法，可以应用于使用交叉熵损失训练的神经网络，在字幕数据集上展示了该方法相对于其他领域自适应方法的表现提高。

    Jul, 2016

  • 使用几十个部分注释的示例扩展解析器至远领域

    通过使用神经网络的词表示方法，在与源领域语法相似的情况下，重新审视了领域适应。并提供了一种简单的方法，通过使用少量的部分注释来适应解析器。文章提供的新算法的结果，使华尔街日报测试集的最新单模型状态达到94.3％，比之前最先进的92.6％有一个绝对提高了1.7％。

    May, 2018

  • 通过词表归纳进行神经机器翻译的领域适应

    本文提出了一种无监督的自适应方法，使用伪域内语料库通过微调预先训练的域外NMT模型，借助词典诱导提取域内词汇，并通过针对性的单语域内目标句子进行逐词反向翻译构建伪平行域内语料库，在20对自适应设置和两种模型架构的五个领域中，我们的方法始终显示出提高，而不需要使用任何域内平行句子，改进了未经过调整的模型高达14 BLEU和强反向翻译基线的最高2 BLEU。

    Jun, 2019

  • 面向神经机器翻译的无监督领域自适应与领域感知特征嵌入

    提出一种通过使用语言建模来学习领域感知特征嵌入，在多个实验中提高神经机器翻译性能的方法，该方法允许使用者指定特定领域的文本表示。

    Aug, 2019

  • 预训练语言模型中的无监督域聚类

    本文提出了一种基于大规模预训练语言模型的领域数据选择方法，通过度量句子的隐式相似性进行聚类，仅需要少量数据即可有效提高神经机器翻译的准确性。

    Apr, 2020

  • 神经语言模型的域自适应权衡

    探讨了语言模型适应与机器学习理论的关系，研究了大型领域外训练集和小型领域内训练集之间的训练方法的优劣，提出了领域外预训练加上领域内微调比单独应用更为通用，并提出了基于数据选择的适应技术的公共框架。

    Sep, 2021

  • 稀疏数据情景下的领域适应：不使用BERT有何收获？

    本文比较了NLP中使用不同方法处理数据量不足的问题，提供了使用少量标记训练数据来构建NLP应用的指南。虽然预训练语言模型的转移学习在各种任务中都表现出色，但其他方法的性能差别不大，而且需要的计算成本更少，从而显著降低了预算和环境成本。我们研究了几种这样的替代方案的性能权衡，包括可以加速训练175K倍且不需要单个GPU的模型。

    Mar, 2022

  • 神经语言模型的紧凑预训练方法

    本研究表明，使用抽象摘要和关键词提取等技术，从不结构化的数据中构建一个紧凑的子集，可以更有效地和更快地为传统预训练及任务特定分类器的训练提供有关领域内的信息，减少了预训练时间，并在针对六个不同组合的数据集并使用两种不同的NLMs的条件下表现出了优越的结果。

    Aug, 2022

  • 关于预训练语言模型的领域自适应和泛化：一项综述

    本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了PLMs的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

    Nov, 2022