Nov, 2020

预训练跨语言语言模型的无监督领域自适应

PDF
TL;DR本文提出了一种用于自动提取领域特定特征和领域不变特征的无监督特征分解方法，并利用互信息估计将交叉语言表示计算所述的跨领域和跨语言（CLCD）设置分解为领域不变和领域特定部分，实验结果表明，我们提出的方法在 CLCD 设置中取得了显著的性能提升。
pretrainingcross-lingual language modelslow-resource language processingunsupervised feature decompositionmutual information estimation
发现论文，激发创造
  • 基于多语数据选择的神经机器翻译领域通用无监督适应

    本文针对神经机器翻译中的无监督领域自适应问题，提出一种跨语料库数据选择方法，通过对多语言 BERT 进行对比学习，实现源语言和目标语言之间的表示对齐，从而实现零样本领域分类器的可转移性，并且通过联合学习翻译任务和领域区分任务来适应新领域。我们在五个不同的领域和三种语言对的神经机器翻译上进行了跨语料库数据选择方法的评估，并在 COVID-19 疫情实时翻译中进行了应用验证， 实验结果表明，我们提出的方法相对于基线方法的 BLEU 指标得分提高了 1.5 个百分点。

    Sep, 2021

  • 预训练语言模型的高效分层领域自适应

    本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

    Dec, 2021

  • 跨语言文档分类中的领域差异缩小

    本文研究跨语言理解中的半监督学习，通过结合最先进的跨语言方法和弱监督学习方法，同时解决语言和领域差异，实现了对跨语言文档分类中的新的领先水平。

    Sep, 2019

  • 使用强大的自学方法适应不同语言和领域的预训练语言模型特征

    本研究中，我们探究了将预训练语言模型（PrLMs）特征适应新域的方法，而非像以往一样对其进行精细调整。我们提出了面向无监督域适应 (UDA) 的类感知特征自蒸馏（CFd）算法，能够有效地提高跨领域和跨语言设置下的模型稳健性。

    Sep, 2020

  • 在上下文中适应：通过上下文中学习的检索增强域适应

    通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略，我们研究了适应语言模型从源领域到目标领域的问题，以学习目标领域分布并通过语言建模实现任务信号的适应，从而在情感分析和命名实体识别任务中实现了显著的性能提升。

    Nov, 2023

  • 面向神经机器翻译的无监督领域自适应与领域感知特征嵌入

    提出一种通过使用语言建模来学习领域感知特征嵌入，在多个实验中提高神经机器翻译性能的方法，该方法允许使用者指定特定领域的文本表示。

    Aug, 2019

  • 利用结构对应学习进行跨语言适应

    通过使用未标记的文档和单词翻译神器，利用结构对应学习方法进行跨语言适应，实现从一种语言到另一种语言的分类知识传递，相对于其它方法，该方法具有资源高效性和任务特异性，并在英语为源语言、德、法、日语为目标语言的跨语言主题和情感分类实验中展现出比机器翻译基线方法平均减少 30%（主题分类）和 59%（情感分类）的较小的相对误差。

    Aug, 2010

  • 跨域对比学习用于无监督域自适应

    该论文提出了一种在无监督领域适应的情况下，采用自我监督学习的对比方法以减少培训和测试集之间的领域差异，实现了简单而有效的领域对齐框架 CDCL，并使用伪标签进行评估， 这种方法可以应用于无需数据源的情况并在图像分类方面取得了最先进的性能。

    Jun, 2021

  • 基于无监督领域自适应的方言搜索查询翻译

    该研究提出了一种无监督领域适应方法，用于翻译搜索查询，使用了基于公共语料库训练的开放领域翻译模型，并使用两种语言的单语查询来调整该模型以适应查询数据，最终改进了 Hindi 到英文查询翻译的性能。

    Aug, 2022

  • 跨语言语言模型预训练

    本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式， 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

    Jan, 2019