大型语言模型是优良的多语言学习者：当LLMs遇上跨语言提示
本研究提出了一种名为跨语言思维提示（XLT）的方法，通过激发跨语言和逻辑推理技能，改善了大语言模型的多语言能力，并在与推理、理解和生成有关的7个基准测试中进行了全面的评估，实验结果显示XLT不仅显著提高了各种多语种任务的性能，而且还显著减少了不同语言中每个任务平均性能和最佳性能之间的差距。
May, 2023
本文通过大量实证研究探索了多语言大型语言模型在涉及语种切换的情况下情感分析、机器翻译和单词级别语言识别等任务的表现。研究显示，虽然这些模型在使用零 / 少量提示时在某些任务中表现出色，但与较小的微调模型相比，它们的性能仍然有所不适。因此，研究者认为未来需要进一步研究来完全弥合这一差距。
May, 2023
使用最新一代的大型语言模型，我们系统地研究了双语词典诱导（BLI）任务，包括无监督的零样本诱导、少样本上下文诱导和标准的BLI模型微调，并证明了与当前BLI方法相比，这种方法在许多语言对上取得了最新的BLI成绩。
Oct, 2023
自回归大语言模型已经改变了自然语言处理领域的格局。基于预训练和提示范式的方法已经取代了常规的预训练和微调方法用于许多下游自然语言处理任务。本文讨论了已经在自回归大语言模型上使用的各种提示技术，提供了一个基于这个分类体系的简明调研，并且确定了自回归大语言模型中提示领域的一些未解决问题，可作为未来研究的方向。
Nov, 2023
该研究介绍了分解提示方法，用于探究英语为中心的大型语言模型在序列标注任务中对语言结构的理解能力，其研究结果表明分解提示优于迭代提示基线，在零样本和少样本情况下具备更高的效用和效率，并发现评估方法和提示中的指令使用对结果有影响，同时发现英语为中心的语言模型在多语言任务中表现优于多语言模型，从而对英语为中心的语言模型的多语言可迁移性进行了深入研究，为了解其多语言语言知识做出了贡献。
Feb, 2024
对大型语言模型（LLMs）在多语种环境中的应用进行了综述，包括训练和推理方法、模型安全性、多领域与语言文化、数据集使用，同时讨论了相关方面的主要挑战和潜在解决方案，并提出了进一步增强语言模型的未来研究方向。
May, 2024
通过构建两个数据集，将 LLaMA 和 BLOOM 的多语言能力扩展到 100 种语言，并使用 DPO 算法对 LLMs 进行与人类反馈的对齐，实现了对 100 种语言的支持，从而定义了最新的、支持 100 种语言的多语言 LLMs 的最新技术。
Jun, 2024
LLMs have limitations in generating text in a user's desired language, and the Language Confusion Benchmark evaluates these failures, finding that Llama Instruct and Mistral models exhibit high degrees of language confusion, even the strongest models fail to consistently respond in the correct language.
Jun, 2024
本研究针对多语言大型语言模型在代码混合（即在一次发言中混合多种语言）的机器翻译能力不足的现状，提出了一种新的规则基础提示技术。研究发现，尽管通过k-shot提示（$k\in\{0, 1, 10, 20\}$）通常能取得最佳效果，但规则基础提示在生成独特的代码混合句子方面展现出潜力，并创建了涵盖五种语言对的黄金标准代码混合数据集。
Oct, 2024