共享、教学与对齐：熟知的跨语言机器阅读理解的知识迁移

EMNLPNov, 2023

共享、教学与对齐：熟知的跨语言机器阅读理解的知识迁移

Sharing, Teaching and Aligning: Knowledgeable Transfer Learning for Cross-Lingual Machine Reading Comprehension

Tingfeng Cao, Chengyu Wang, Chuanqi Tan, Jun Huang, Jinhui Zhu

TL;DR本文提出了一种新的跨语言机器阅读理解方法 X-STA，利用关注力机制和知识共享技术实现源语言答案转移到目标答案空间，并通过语义对齐和教师引导来增强跨语言迁移能力，实验证明了该方法在多种多语言机器阅读理解数据集上的有效性。

Abstract

In cross-lingual language understanding, machine translation is often utilized to enhance the transferability of models across languages, either by translating the training data from the source language to the target, or from the target to the source to aid inference. However, in cross-lingual machine reading comprehension (MRC), it is difficult to perform a

cross-lingual machine reading comprehension x-sta knowledge sharing semantic alignments multi-lingual mrc

发现论文，激发创造

提高多语言机器阅读理解答案边界检测能力

本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

Apr, 2020

跨语言机器阅读理解

提出了面向非英语语言的跨语言机器阅读理解（CLMRC）任务，通过双向 Bert 模型和回译方法，利用英语作为基础语言的大规模训练数据来提高低资源语言的阅读理解性能，并在中文机器阅读理解数据集上进行了实验，结果表明该方法能够显著提高机器阅读理解的性能。

Sep, 2019

基于语言分支知识蒸馏的跨语言机器阅读理解

本文提出了一种名为 LBMRC 的创新增强方法和一种多语言蒸馏方法，共同提高跨语言转移性能，并且可以更加鲁棒地处理数据噪声，同时我们在两个 CLMRC 基准测试上进行了广泛的实验并验证了我们的方法的有效性。

Oct, 2020

学习语义解耦表示以实现多语言机器阅读理解中的零样本跨语言转移

本文提出一种新颖的多语言机器阅读理解框架，配备 Siamese Semantic Disentanglement Model（SSDM），用于在多语言预训练模型中学习的表示中分离语义和句法，以明确将语义知识转移到目标语言；实验证明，该方法比基于 mBERT 和 XLM-100 的模型更为有效。

Apr, 2022

自动语音翻译的跨语言转移学习改进

本论文旨在通过语义知识蒸馏来改进多语言语音转文本翻译中的跨语言迁移学习。通过使用 SAMU-XLS-R 来初始化编码器，我们在 CoVoST-2 和 Europarl 语音转文本数据集上实现了比基线模型更好的交叉语言任务知识传输，其中平均提高了 12.8 个 BLEU 分数。在零 - shot 翻译情景下，我们在未见过的中低资源语言上平均提高了 18.8 分和 11.9 个 BLEU 分数。

Jun, 2023

分析监督式 NLP 任务中的零样本跨语言迁移

本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

Jan, 2021

运行时机器翻译实现的多语言抽取式阅读理解

本研究提出一种基于注意力机制的神经机器翻译模型，将源语言（非英语）数据经过翻译转化为目标语言（英语），在英语翻译数据上训练阅读理解模型，在目标语言中生成答案并通过软对齐注意力机制将目标语言中的答案还原回源语言，并且实验表明，我们的方法明显优于最先进的机器翻译系统的回译基线方法。

Sep, 2018

基于阅读理解的跨语言知识库问答

该研究对多语言信息处理领域中的跨语言问答问题进行了研究：提出了一种基于阅读理解范式的知识库子图到问题的转换方法，利用汽车预训练语言模型和跨语言阅读理解技术进行跨语言阅读理解，基于现有的高质量跨语言阅读理解数据集进一步优化模型，为跨语言问答领域提供了一种有效、高效的方法。

Feb, 2023

跨语言转移还是机器翻译？关于单语义文本相似性的数据增强

通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领域，并结合这些发现实验表明，跨语言转移 Wikipedia 数据能够提高单语 STS 的性能。

Mar, 2024

通过机器翻译和跨语言转移在捷克语阅读理解

该研究针对捷克语读解系统建立，通过自动翻译 SQuaD 1.1 和 2.0 数据集，并训练和评估了多个 BERT 和 XLM-RoBERTa 基准模型，证明了跨语言转移方法的成功性。

Jul, 2020