Sep, 2019

跨语言文档分类中的领域差异缩小

PDF
TL;DR本文研究跨语言理解中的半监督学习，通过结合最先进的跨语言方法和弱监督学习方法，同时解决语言和领域差异，实现了对跨语言文档分类中的新的领先水平。
cross-lingual understandingsemi-supervised learningdomain gapunlabeled datadocument classification
发现论文，激发创造
  • 低资源自然语言理解的有效迁移学习

    本论文旨在解决 NLU 模型在缺乏数据或知识资源时的挑战，提出了跨语言和跨域适应方法及面向低资源语言的关键词增强方法、序列颗粒化建模方法、多领域预训练方法和粗粒度到细粒度的表示学习框架。

    Aug, 2022

  • 领域不匹配并不总是阻止跨语言迁移学习

    本文展示了一种简单的初始化方案，用于克服跨语言转移中不同领域的影响，通过在领域不匹配的语料库上预训练词和上下文嵌入，然后用于多个任务中，包括 UBLI、UNMT 和 SemEval 2017 跨语言词汇相似性任务，挑战了之前的研究论文并指出，在适当初始化的情况下可以恢复由于域不匹配而产生的损失。

    Nov, 2022

  • 跨语言语言模型预训练

    本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式， 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

    Jan, 2019

  • 通用跨语言文本分类

    通过优化现有标签 / 数据集，将不同语言的标签数据与训练相结合，以创建一个通用模型，从而增强标签和语言范围，实现跨语言的文本分类。

    Jun, 2024

  • XNLI 2.0：改进 XNLI 数据集和跨语言理解（XLU）性能

    本篇研究通过重新翻译 14 种不同语言的 MNLI 数据集，包括 XNLI 测试和开发集，以改进原始 XNLI 数据集，并通过在 15 种不同语言中训练模型并分析其在自然语言推断任务上的表现来实现跨语言理解和自然语言处理，同时通过在英语以外的语言中训练模型来探索在资源匮乏的语言（如斯瓦希里和乌尔都语）中提高性能的可能性。

    Jan, 2023

  • 预训练跨语言语言模型的无监督领域自适应

    本文提出了一种用于自动提取领域特定特征和领域不变特征的无监督特征分解方法，并利用互信息估计将交叉语言表示计算所述的跨领域和跨语言（CLCD）设置分解为领域不变和领域特定部分，实验结果表明，我们提出的方法在 CLCD 设置中取得了显著的性能提升。

    Nov, 2020

  • 跨语言生物医学实体链接的领域专用表示学习

    通过提出一个新的跨语言生物医学实体链接任务并建立一个涵盖 10 种语言的基准测试，本文研究了在标准英语生物医学实体链接任务之外，标准、知识增强的单语和多语言语言模型的能力。同时解决了把资源丰富的语言中的领域特定知识传递给资源贫乏的语言的挑战，并提出并评估了一系列的跨语言传递方法。研究表明，本文提出的领域特定传递方法在所有目标语言中均获得了持续的提高，有时可高达 20 个 Precision@1 点，而无需目标语言具有领域内的知识和对应的并行数据。

    May, 2021

  • 评估跨语言句子表示的 XNLI

    本文提出了 XNLI 数据集用于跨语言句子理解的评估，并研究了多语言句子理解的基准和挑战。

    Sep, 2018

  • 跨领域知识转移的图启用方法

    通过跨领域知识转移来减少领域知识不足的影响，结合半监督学习及大量无监督数据，提高机器学习任务的性能以实现自动决策

    Apr, 2023

  • 大型语言模型作为视觉跨领域学习器

    近期由深度学习模型取得的进展基于独立且同分布的假设，限制了它们在具有领域转移的实际场景中的应用。为了解决上述问题，跨域学习旨在提取领域不变的知识，以减少训练和测试数据之间的领域转移。然而，在视觉跨域学习中，传统方法仅集中于图像模态，忽略了利用文本模态来减轻领域转移。本文提出了大型语言模型作为视觉跨域学习器（LLaVO）。LLaVO 使用视觉 - 语言模型将图像转换为详细的文本描述，然后使用设计的指令模板在源 / 目标领域生成的文本描述上对大型语言模型进行微调。对领域概括和无监督领域自适应设置下的各种跨域任务进行了广泛的实验，结果表明了所提方法的有效性。

    Jan, 2024