快速增长的多语言新闻消费者对新闻推荐系统提出了越来越高的要求，本文提出了一种基于新闻领域特定的句子编码器和迁移学习的方法来解决零样本跨语言迁移和少样本新闻推荐问题，并取得了最新的研究进展。

Jun, 2024

本研究提出了一种名为 TrNews 的模型，使用传输学习和表示映射的策略实现对未知用户的跨语料库新闻推荐，该模型在实现时取得了比各种基线模型更好的效果。

Jan, 2021

本文在多语言和交叉语言设置下，通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。

Jun, 2023

本文介绍了一种零射击跨语言主题模型，利用迁移学习来处理多个语言的数据集，以解决传统基于词袋的主题模型所面临的单语言或巨大而稀疏的词汇表等问题，并评估了在不同语言中同一篇文章的主题预测的准确性和连贯性，结果表明所转移的主题是连贯且稳定的，具有潜在的未来研究方向。

Apr, 2020

本文研究一种可转移的音位嵌入框架，旨在解决少样本跨语言语音合成问题。在 8 分钟以下数据提供的极少样本情况下，作者提出了包括基于音位 TTS 模型和码本模块在内的框架。通过利用音位级平均的自我监督学习特征，实现了合成语音质量的有效改进。实验证明，使用 30 秒左右数据就能够合成出可理解的说话声音。

Jun, 2022

通过少量有质量的翻译数据训练的自监督学习解码器模型，在没有多语言联合训练或反向翻译的情况下，在较高和较低资源语言对中均显示出潜力。同时，该方法还提供了一种控制翻译属性的方法，为可控机器翻译系统铺平了道路。

Feb, 2023

本文针对零资源的多语言任务导向对话系统进行零样本自适应的提出，使用极少量的平行语词来优化对齐的跨语言词级表示，并采用潜变量模型处理不同语言间类似句子的变化，实验表明，我们的模型在零样本情况下对自然语言理解任务的适应性优于当前最先进的模型。

Nov, 2019

利用 Whisper 作为多语言语音模型示例，我们探究了语音编码器产生的话语表征，虽然保留了一些语言敏感信息，但是来自不同语言的单词被映射到相似的语义空间，从 Speech-to-Speech 检索任务中的高召回率可以看出；借助这个共享的嵌入空间，我们证明了在语音翻译中的零 - shot 跨语言转移；当 Whisper 模型仅使用英语到中文翻译数据进行微调时，它在其他语言的输入话语上表现出性能的提升；此外，在低资源语言的实验中，通过利用跨语言表示，Whisper 可以对在预训练过程中未见的语言的话语进行语音翻译。

Jul, 2024

本论文旨在解决 NLU 模型在缺乏数据或知识资源时的挑战，提出了跨语言和跨域适应方法及面向低资源语言的关键词增强方法、序列颗粒化建模方法、多领域预训练方法和粗粒度到细粒度的表示学习框架。

Aug, 2022

本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

Jul, 2022