面向严重资源匮乏语言的数据生成：GPT-3.5 的协助来自 Google 翻译

Aug, 2023

面向严重资源匮乏语言的数据生成：GPT-3.5 的协助来自 Google 翻译

Data-to-text Generation for Severely Under-Resourced Languages with GPT-3.5: A Bit of Help Needed from Google Translate

Michela Lorandi, Anya Belz

TL;DR我们探讨了语言生成任务中，训练数据严重不足的情况下，GPT 等 LLM 模型如何处理爱尔兰语、马耳他语、威尔士语和布列塔尼语等语言。我们测试了多种提示类型和格式，发现少量样本训练对于直接生成不常见语言较为有效，但通过英语进行翻译后的生成差距不大。在 WebNLG 2023 中，我们的系统在所有语言和指标上均显著优于其他竞争系统，表现出令人满意的效果。然而，我们在威尔士语中表现最好的结果仍远低于 WebNLG'20 中最差的英语系统。

Abstract

llms like GPT are great at tasks involving English which dominates in their training data. In this paper, we look at how they cope with tasks involving languages that are severely under-represented in their training data, in the context of →

llms data-to-text generation prompt types under-resourced languages few-shot prompting

发现论文，激发创造

优质数据到文本生成用于严重资源不足的语言的开箱即用大型语言模型

大型语言模型可以在研究欠资源语言中通过数据到文本生成来弥补性能差距，但人工评估表明 BLEU 分数相比于英语有所下降，对于评估非任务特定系统其适用性存疑。

Feb, 2024

借助 GPT 作为枢纽，减轻对资源匮乏的代码混合数据问题

通过使用 GPT 3.5 生成非洲语言中的代码切换句子，我们发现非拉丁脚本语言（如约鲁巴语）生成的句子质量明显较低，与高阿非卡语 - 英语成功率相比。因此，我们提出了一个框架来增加合成代码切换数据的多样性，并建议利用这项技术缓解低资源语言的数据稀缺，强调本地说话者在这一过程中的关键作用。

Apr, 2024

低资源语言中大型语言模型的少样本跨语言迁移

将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

Mar, 2024

仅需提示和样本，使用 GPT-4 在低资源分类任务中进行数据增强

本文通过简单的提示使用 GPT-4 和 ChatGPT 增强有限的标注语料库，用于三种不同的分类任务，在低资源环境中通过生成的合成样本，测试了两种扩充策略：一种是维护原始标签分布，另一种则是平衡分布，实验发现，合成数据有助于实现很好的下游任务效果和极少见类别的识别。

Apr, 2023

GPT 是否会产生更少的字面翻译？

本文研究大型语言模型（LLMs）在机器翻译（MT）中的应用，发现使用 GPT-3 等模型的翻译虽然在质量上相当或更好，但在语句的逐字逐句的程度上比标准 NMT 模型的翻译要少。此外，当翻译的句子中包含习语表达时，这种差异尤为明显。

May, 2023

利用具有英语优势的多语言提示，推动低资源语言的 LLMs 民主化

本文提出了一种无监督提示方法，使用高资源语言的合成样本以在低资源语言上进行多语言总结，并且表明该方法在许多低资源语言上胜过有监督的提示。

Jun, 2023

大语言模型的机器翻译：波斯语，英语和俄语方向的提示工程

通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如 PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。

Jan, 2024

基于检索增强的语言模型提示的低资源机器翻译研究：以马姆贝语为例

本文旨在探索使用大型语言模型（LLMs）将英文翻译成蒙巴依语，一种在东帝汶使用的语言，本研究使用少量数据对 LLM 进行指导，以提高低资源语言的机器翻译质量。

Apr, 2024

ChatGPT MT：高资源语言竞争力强（但对于低资源语言则不强）

使用 FLORES-200 基准测试，我们提供了首个针对 204 种语言的实验证据和机器翻译成本分析，发现 GPT 模型在某些高资源语言上接近或超过传统机器翻译模型的性能，但在低资源语言上表现一直落后于传统机器翻译，对于我们覆盖的语言中的 84.1％，ChatGPT 的翻译能力低于传统机器翻译模型水平。我们的分析表明，语言的资源水平是决定 ChatGPT 相对翻译能力的最重要特征，并且暗示 ChatGPT 在低资源语言和非洲语言上处于劣势。

Sep, 2023

GPT 模型在机器翻译中有多好？一项全面评估

本研究对 GPT 模型在机器翻译方面的表现进行了全面评估，涵盖了许多方面，如与最新研究和商业系统的不同 GPT 模型的质量比较，提示策略的效果，域转换和文档级翻译的鲁棒性。实验覆盖了 18 个不同的翻译方向，包括高资源和低资源语言以及非以英语为中心的翻译，评估了三个 GPT 模型：ChatGPT，GPT3.5 (text-davinci-003) 和 text-davinci-002。实验结果表明，对于高资源语言，GPT 模型达到了极具竞争力的翻译质量，而对于低资源语言的能力却有限，同时也证明了混合方法（将 GPT 模型与其他翻译系统相结合）可以进一步提高翻译质量。我们进行了全面的分析和人工评估，以进一步了解 GPT 翻译的特点。我们希望我们的论文为研究人员和实践者提供有价值的见解，并有助于更好地理解 GPT 模型在翻译方面的潜力和局限性。

Feb, 2023