Jun, 2024

UniPSDA: 无监督伪语义数据增强在零样本跨语言自然语言理解中的应用

PDF
TL;DR通过无监督的伪语义数据增强机制，提出了一种跨语言自然语言理解方法，细化了语义数据，同时进行多语言知识注入和消除偏倚技术优化，从而有效改善了零对齐跨语言自然语言理解任务的性能。
cross-lingual representation learningunsupervised data augmentationsemantic understandingmulti-lingual knowledge infusionzero-shot cross-lingual natural language understanding
发现论文，激发创造
  • UXLA：零资源跨语言自然语言处理的强大无监督数据增强框架

    提出了 UXLA，一种新的无监督数据增强框架，用于零资源转移学习场景中的跨语言适应问题。UXLA 在三个不同的零资源跨语言转移任务上取得了 SOTA 结果，胜过基准线很多。

    Apr, 2020

  • 跨领域自监督原型学习用于少样本无监督领域适应

    本文提出了一种端到端的 Prototypical Cross-domain Self-Supervised Learning (PCS) 框架，通过在共享嵌入空间中编码和对齐语义结构，不仅执行跨域低级特征对齐，而且捕捉数据的类别间语义结构。与最先进的方法相比，PCS 在 FUDA 上在不同域对之间的平均分类精度分别提高了 10.5％，3.5％，9.0％和 13.2％。

    Mar, 2021

  • 无监督机器翻译数据增强改善跨语言词向量结构相似度

    提出了一种使用非监督机器翻译生成的伪平行语料库以优化跨语言词嵌入的无监督映射方法的新思路，改进了现有方法，并通过详细分析证明伪数据增强方法特别适用于基于映射的跨语言词嵌入任务。

    May, 2020

  • CoSDA-ML: 多语言混码数据增强用于零样本跨语言自然语言处理

    提出了一种数据增强框架以生成多语言混合数据来微调多语言 - BERT 模型，从而实现将源语言和多个目标语言的表示进行对齐，相较现有方法，该方法无需依赖双语句子进行训练，并且只需一个训练过程即可对多个目标语言进行微调，对于 19 种语言的五项任务表现均明显提高。

    Jun, 2020

  • 跨语言转移还是机器翻译？关于单语义文本相似性的数据增强

    通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领域，并结合这些发现实验表明，跨语言转移 Wikipedia 数据能够提高单语 STS 的性能。

    Mar, 2024

  • 模拟退火算法实现的无监督释义

    我们提出了一种新方法 UPSA，它利用模拟退火实现无监督的同义词生成。我们将同义词生成建模为一个优化问题，并提出了一个复杂的目标函数，涉及同义词的语义相似性、表达多样性和语言流畅性。然后，UPSA 通过执行一系列局部编辑来朝着这个目标搜索句子空间。我们的方法是无监督的，不需要平行语料库进行训练，因此可以轻松应用于不同的领域。我们在各种基准数据集上评估了我们的方法，即 Quora、Wikianswers、MSCOCO 和 Twitter 等。广泛的结果表明，UPSA 在自动和人工评估方面都实现了与以前的无监督方法相比的最先进性能。此外，我们的方法优于大多数现有的领域自适应监督模型，显示了 UPSA 的通用性。

    Sep, 2019

  • 零样本跨语言语义解析

    本文提出一种多任务编码 - 解码模型，通过多语言领域内语料库和英文 - 逻辑形式对标数据，在没有平行语料的情况下完成跨语言的语义解析，模型加强了语言无关编码，显著优于传统基于翻译的算法，有时能与有监督模型的上线媲美。

    Apr, 2021

  • 多语言任务导向对话的情境语义解析

    通过机器翻译自动翻译对话数据集并使用新的上下文语义解析模型，该方法在多个数据集上提高了准确性并创建了高准确度的多语言对话数据集。

    Nov, 2021

  • 基于协作学习的多源域自适应语义分割

    本文提出了一种新颖的基于协作学习的多源领域自适应框架，通过像素值分布的对齐和伪标签的约束来充分利用多个源域的语义信息，同时通过图像翻译使源域与目标域之间的差距减小，经实验证明，在语义分割任务中，该方法在 Cityscapes 数据集的验证集上获得 59.0％的 mIoU，显著优于所有之前的单一和多源无监督领域自适应方法。

    Mar, 2021

  • 零标签语言学习的探索

    该文章探讨了零标签学习在自然语言处理中的应用，介绍了基于预训练语言模型的一种新方法 Unsupervised Data Generation，能够生成高质量的训练数据，无需人工标注。该方法使得用不带标签的数据训练具体任务的模型成为可能，并且当与带标签的数据混合使用时，能实现高效的数据增强，并达到了 SuperGLUE 基准测试的新最优结果。

    Sep, 2021