- 无边界新闻：跨语言新闻推荐中的多语句子嵌入领域适应
快速增长的多语言新闻消费者对新闻推荐系统提出了越来越高的要求，本文提出了一种基于新闻领域特定的句子编码器和迁移学习的方法来解决零样本跨语言迁移和少样本新闻推荐问题，并取得了最新的研究进展。
- ACL通过上下文一次性演示实现适应性跨语言文本分类
通过在分类任务中介绍上下文一次性跨语言转换（IC-XLT），可以通过训练模型学习上下文示例，然后在推断时通过在目标语言中预置一次性上下文演示来适应目标语言，提高评估的 mT5 模型的跨语言能力，超过基于提示的模型在经过微调的零和少样本情景中 - 多语言语言模型中研究跨语言传递的高效方法
预训练多语言模型的容量和效果已经得到确认，但对于零样本跨语言转移中的积极或消极转移现象以及语言选择的影响还需进一步理解，本研究提出了一种高效的方法，通过专用适配器单元将下游任务与语言分离，发现一些语言对其他语言影响不大，而一些未在预训练中出 - 大型语言模型的指令调优中的零 - shot 跨语言转移
在多语种环境下，我们对指令调优进行了系统研究，发现跨语言转移成功的关键在于超参数调整和足够的训练数据，虽然英文训练的大型语言模型能够生成其他语言的正确、全面和有帮助的回答，但其可信度较低且可能偶尔出现流畅性错误。
- ICLR跨语言标签投影的约束解码
零 - shot 跨语言迁移利用多语言 LLMs 已成为一种流行的学习范式，适用于低资源语言没有标记的训练数据。然而，在涉及单词和短语细粒度预测的 NLP 任务中，零 - shot 跨语言迁移学习性能远远落后于有监督的微调方法。因此，通过使 - 跨语言 NLU 中的语言适配器的影响
在不存在语言的监督数据的情况下，本文研究了语言适配器在自然语言理解任务中零样本跨语言转移中的作用，通过对两个多语言模型和三个多语言数据集的详尽消融研究，结果表明目标语言适配器在任务、语言和模型间影响高度不一致。相比之下，保留源语言适配器通常 - ACLToPro: 跨语言序列标注任务的令牌级提示分解
通过将输入句子分解为单个标记并对每个标记应用一个提示模板，我们提出了一种名为 ToPro 的基于提示的方法，用于标记任务的标记级序列标注。在多语言 NER 和 POS 标记数据集上的实验证明，与 Vanilla fine-tuning 和 - EMNLP发现用于语言无关的多语言表示的低秩子空间
在这项工作中，我们提出了一种新的方法，通过从多语言嵌入空间中投影掉语言特定因素，以完全利用语义信息，并消除语言身份信号，从而在语义任务中取得更好的结果。
- ZGUL：使用多源适配器的零样本泛化到未见过的语言
通过使用语言适配器（LAs）解决 NLP 任务中的零射击跨语言转移问题，并结合多个源语言的语言适配器进行训练和测试，展示了在 POS 标注和 NER 任务上相对标准微调和其他强基线模型平均 F1 分数提高了 3.2 个点的改进。
- EMNLP一对所有 & 所有对一：使用模型平均绕过超参数调整进行跨语言迁移
基于不同运行模型的累积逐渐平均，提升零样本跨语言转移（ZS-XLT）性能，与目标语言验证性能基于模型选择有密切相关。
- ACL自我增强提高零 - shot 跨语言迁移
提出一种称为 SALT 的简单而有效的方法，结合了代码混合和嵌入混合自增强，通过从多语言预训练语言模型中提取跨语言知识并增强其在下游任务中的可转移性，改进了零射击跨语言转移能力，而无需外部数据。
- ACL为什么零 - shot 跨语言生成会失败？原因和解决方案
本研究针对零样本跨语言转移中生成任务的中文输出质量不高、甚至有时会输出错误语言的问题，提出了一种用于正则化模型的简单方法和一种用于在不需要目标语言开发集的情况下选择模型检查点的方法，实验证明该方法使得 ROUGE-L 分数平均提高 1.5， - ACL多语言语言模型跨语言转移因素的共同理解：一篇综述
本综述论文旨在调查不同因素对多语言预训练语言模型实现零 - shot 跨语言转移的贡献，提供了对过去研究的实证证据概要，并识别一致性结果以及解决矛盾之处，进而为未来研究提供参考点与指导。
- ACL重新审视非英语文本简化：一个统一的多语言基准
该研究介绍了 MultiSim 基准，这是一个包含 27 种语言的 12 种不同语言资源的集合，其中包含超过 170 万个复杂 - 简单句对，使用预训练的多语言语言模型进行的实验表明具有激动人心的性能提升，证实了跨语言的可行性。
- mPLM-Sim：多语言预训练语言模型中更好的跨语言相似性和迁移揭示
本文提出了一种新的多语言相似性度量方法 mPLM-Sim，通过从 mPLMs 中使用多语言并列语料库感知不同语言之间的相似性，结果表明该方法较传统的语言相似性度量方法具有更高的相关性，并在零 - shot 跨语言转移任务中展现了更好的效果。
- 语言如何相互影响？研究 LLM 微调期间的跨语言数据共享
本研究使用 TracIn 方法分析多语言大模型的跨语言数据共享机制，发现多语言大模型在微调的早期阶段即依赖多语言数据，且随着微调的进行，这种依赖关系逐渐增强，同时还研究了微调语言对特定测试语言上的模型表现的影响。
- ACLDiTTO: 一种特征表示模仿方法，用于改善跨语言转移
本文提出一种名为 DiTTO 的方法，通过同时降低源语言与目标语言之间的特征不一致性和提高预训练多语言转换器的泛化能力，显著改善了零样本跨语言传递的性能。实证结果表明，对于多个目标语言同时降低特征不一致性对于跨语言传递的成功至关重要。此外， - EMNLP课程学习的培训动态：单语和跨语言 NLU 的研究
本研究利用训练动态作为难度指标，对现有的课程学习调度程序进行修改，并在多个自然语言理解任务中展示出通过训练动态的课程学习可以在零 - shot 跨语言传输和 out-of-distribution（OOD）场景下获得更好的性能，提高至多 8 - 零样本跨语言转移是未规范化的优化
通过研究，我们发现使用预训练的多语言编码器进行零样本跨语言转移时，可能会产生高方差的不可靠模型，这是由于零样本跨语言转移解决了欠约束的优化问题，而线性插值模型可以同时对源语言和目标语言进行较好地建模，因此可以作为更好的方案。此外，零样本解决 - 法律主题分类中实现逼真的零 - shot 跨语言转移
本文讨论使用 MultiEURLEX 数据集进行零样本跨语言转移的法律主题分类，介绍了新版本的数据集和使用基于翻译的方法相对于之前最佳的跨语言预训练模型调参的方法的改进，同时提出了一种基于双语教师 - 学生的零样本转移方法。