本文提出一种新的参数高效的跨语言转移学习框架，利用基于翻译的对齐方法来缓解多语言差异，并探索参数高效的微调方法，经过广泛的实验表明，我们的框架显著减少了语言之间的多语言差异，并在跨语言转移方面取得了改进，尤其在低资源场景中，同时只保留和微调极少量的参数与全模型相比（例如，我们的框架对于每种语言只需要全模型的 0.16% 的额外参数，在 few-shot 学习场景下）。

May, 2023

优化两阶段跨语言迁移学习在低资源语言中的应用，通过改进音素识别和音素到字素转换模型，优化了语音识别跨语言学习过程，合并共享发音特征的音素以增强识别准确性，引入全局音素噪声生成器降低错误传播。在 CommonVoice 12.0 数据集上的实验结果表明，对于低资源语言，我们的方法显著减少了单词误差率（WER），展示了方法的有效性，对于改进低资源语言中的两阶段语音识别系统，提供了潜在的跨语言迁移学习。

Dec, 2023

本文研究了使用无监督双语词汇识别中基于嵌入的最新方法，提出了一种使用拼写信息的强化方法，并提出了一种可以学习和利用具有不同语言间的正字对应关系的方法。实验结果表明该方法在使用不同文字和不同词汇相似度的三种语言对上表现出了很好的效果。

Jan, 2020

本文通过使用发音特征将多种训练语言的音素映射到目标语言中，对多语言预训练的 wav2vec 2.0 模型进行微调，以在没有标记数据的情况下提高其对未见过的语言的识别能力，并在实验中取得了较优效果。

Sep, 2021

本研究使用零样本学习的方法解决语言无训练数据情况下语音转写的挑战，将语音音素分解成相应的发音属性，结合定制的声学模型，实现对目标语言中未知音素的识别，评估结果表明，该方法比传统多语言模型的平均音素误差率提高了 7.7%。

Feb, 2020

该研究旨在通过跨语言知识转移和迭代伪标注的方法来提高语音识别系统对低资源语言的准确性，结果表明，使用这两种技术，可将错误率降低 35%。

May, 2023

本文研究了在多语言语言模型中应用转写对性能的影响，并在 IndicGLUE 基准测试集上评估了两个 ALBERT 模型，结果显示转写使得低资源语言的性能得到了提升，且基于转写的模型具有更高和更稳定的交叉语言表示相似度分数。

Jan, 2022

本文研究了多语言机器翻译中的词汇共享和转写等策略对翻译性能的影响，并探讨了数据采样和词汇大小之间的平衡。研究发现，转写并不能显著提高翻译性能，而原始脚本训练的多语言机器翻译模型对于不同脚本的语言具有较强的泛化能力。

May, 2023

本文研究了如何在没有任何语言学知识的情况下，以单语、多语和跨语言的方式构建从未见过的语言的电话清单，并对 13 种语言进行了交叉语言分析，发现少数普遍的电话标记可在跨语言中很好地识别，但独特的声音、类似的声音和语调语言仍然是语音清单发现的主要障碍。

Jan, 2022

本论文旨在通过语义知识蒸馏来改进多语言语音转文本翻译中的跨语言迁移学习。通过使用 SAMU-XLS-R 来初始化编码器，我们在 CoVoST-2 和 Europarl 语音转文本数据集上实现了比基线模型更好的交叉语言任务知识传输，其中平均提高了 12.8 个 BLEU 分数。在零 - shot 翻译情景下，我们在未见过的中低资源语言上平均提高了 18.8 分和 11.9 个 BLEU 分数。

Jun, 2023