ACLApr, 2022

学习语义解耦表示以实现多语言机器阅读理解中的零样本跨语言转移

PDF
TL;DR本文提出一种新颖的多语言机器阅读理解框架，配备 Siamese Semantic Disentanglement Model（SSDM），用于在多语言预训练模型中学习的表示中分离语义和句法，以明确将语义知识转移到目标语言；实验证明，该方法比基于 mBERT 和 XLM-100 的模型更为有效。
multilingual pre-trained modelsmachine reading comprehensionsiamese semantic disentanglement modelsemantic knowledge transfermrc datasets
发现论文，激发创造
  • 基于句间依存图的零 - shot 跨语言机器阅读理解

    通过引入 Universal Dependencies 中的句法特征，特别是句子内的句法关系和句子间的句法关系，从而建立一个跨语言的 Inter-Sentence 依存图，并提出了一个 ISDG 编码器，能在无需跨语言训练的情况下显著提高零 - shot 的性能。

    Dec, 2021

  • 共享、教学与对齐：熟知的跨语言机器阅读理解的知识迁移

    本文提出了一种新的跨语言机器阅读理解方法 X-STA，利用关注力机制和知识共享技术实现源语言答案转移到目标答案空间，并通过语义对齐和教师引导来增强跨语言迁移能力，实验证明了该方法在多种多语言机器阅读理解数据集上的有效性。

    Nov, 2023

  • 多语言语言表示模型跨语言转移学习实现零样本阅读理解

    本文系统性地探讨了在多语料库上预训练语言表示模型的情况下，零 - shot 跨语言转移学习在阅读理解任务中的应用，并通过实验结果表明，使用预训练的语言表示模型可以实现零 - shot 学习，无需将源语言数据转换为目标语言，因为这样做甚至会降低模型的性能。研究还进一步探讨了模型在零 - shot 情况下的学习效果。

    Sep, 2019

  • 零样本跨语言语义解析

    本文提出一种多任务编码 - 解码模型，通过多语言领域内语料库和英文 - 逻辑形式对标数据，在没有平行语料的情况下完成跨语言的语义解析，模型加强了语言无关编码，显著优于传统基于翻译的算法，有时能与有监督模型的上线媲美。

    Apr, 2021

  • 自动语音翻译的跨语言转移学习改进

    本论文旨在通过语义知识蒸馏来改进多语言语音转文本翻译中的跨语言迁移学习。通过使用 SAMU-XLS-R 来初始化编码器，我们在 CoVoST-2 和 Europarl 语音转文本数据集上实现了比基线模型更好的交叉语言任务知识传输，其中平均提高了 12.8 个 BLEU 分数。在零 - shot 翻译情景下，我们在未见过的中低资源语言上平均提高了 18.8 分和 11.9 个 BLEU 分数。

    Jun, 2023

  • 零對應跨模態轉換的模塊化語音轉文本翻譯

    通过独立训练的编码器和解码器，通过共享的固定大小表示组合，可以在语音到文本翻译中取得竞争力的性能，本研究表明这种方法可以通过多语种训练进一步改进，我们观察到在零 - shot 跨模态语音翻译中显著提高，甚至在几种语言上胜过基于 XLSR 的有监督方法。

    Oct, 2023

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021

  • 利用通用的表达和交叉映射提高零阶多语种翻译

    提出了一种基于状态移动距离的多对多跨语言神经机器翻译模型，通过学习通用表示和跨映射关系，可以实现未经训练的语言对之间的零 - shot 翻译，实验证明该方法可以改善语义空间的对齐和预测的一致性。

    Oct, 2022

  • 编码器内部的语言转换：关于零翻译多语言中的表示转换

    这篇论文通过研究多语言神经机器翻译中的表示转移，揭示了导致零射翻译不足的表示问题。研究中引入了身份对（一个句子翻译为自身），以解决多语言研究中基准测量缺失的问题，因为身份对代表了所有语言转移中的最佳表示状态。通过分析，我们证明编码器将源语言转移到目标语言的表示子空间，而不是语言无关的状态。因此，零射翻译不足是因为表示与其他语言相混合并且未能有效地转移到目标语言。基于我们的发现，我们提出了两种方法：1）在编码器中使用低秩语言特定嵌入，2）在解码器中进行语言特定的对比学习表示。在 Europarl-15、TED-19 和 OPUS-100 数据集上的实验结果表明，我们的方法显著提高了零射翻译的性能，改善了语言转移能力，从而为我们的结论提供了实际证据。

    Jun, 2024

  • 基于预训练多语言句子表示的零样本依存句法分析

    本篇论文研究了是否可以利用大规模多语言语料库（multilingual BERT）上预训练的现成双向深度句子表征，开发出一种无监督的通用句法分析器，以支持低资源语言的处理。实验结果表明，我们的方法在六种真正的低资源语言中均优于 CoNLL 2018 语言特定系统，但仍存在一些限制，如句法分析精度仍然随训练语言的变化而变化，并且在某些目标语言中，零 - shot 转移在所有测试条件下都无法成功，这引发了人们对整个方法的普适性问题的担忧。

    Oct, 2019