我们探讨了语言生成任务中，训练数据严重不足的情况下，GPT 等 LLM 模型如何处理爱尔兰语、马耳他语、威尔士语和布列塔尼语等语言。我们测试了多种提示类型和格式，发现少量样本训练对于直接生成不常见语言较为有效，但通过英语进行翻译后的生成差距不大。在 WebNLG 2023 中，我们的系统在所有语言和指标上均显著优于其他竞争系统，表现出令人满意的效果。然而，我们在威尔士语中表现最好的结果仍远低于 WebNLG'20 中最差的英语系统。

Aug, 2023

为了解决训练混合语言模型的困难，本研究提出了一种基于序列 - 序列模型及 copy 机制的新型训练方法，通过有限的混合语言数据和单语数据的并行翻译生成需要的混合语言数据，且无需对齐或分析，实现了良好的表现，并显著提高了末端自动语音识别。

Sep, 2019

通过零 - shot 的方法，我们探索使用大型语言模型 ChatGPT，用于生成东南亚五种语言（印度尼西亚语、马来语、汉语、塔加洛语、越南语）和混杂语 Singlish 的混杂数据，结果表明 ChatGPT 显示了最大的潜力，并且 InstructGPT 的表现也值得我们关注，但由于单词选择错误而导致语义不准确。由此我们呼吁在类似的低资源 NLP 情境中谨慎应用类似技术。

Mar, 2023

本文研究如何用神经机器翻译模型生成印地语 - 英语混合语种句子。通过预训练和使用合成数据来提高模型性能，生成的文本可用于数据增强，提高了语言模型任务和自然语言推理任务的性能，人工评估和客观指标的结果展现出了接近或优于印地语为母语的人群工作者生成的混合语种文本。

Jul, 2021

本文介绍了针对非洲语言首次提供的高质量对话数据集，并通过深度单语模型 DialoGPT 和 BlenderBot 以及基准模型 seq2seq 对其进行建模，利用重叠度进行效果分析，同时通过人类评估方法验证其有效性，发现深度单语模型可以学习一些泛化跨语言的抽象，人类得分最高的是奈及利亚皮钦英语。

Apr, 2022

本文主要研究神经机器翻译在低资源条件下的表现，提出通过对目标语句子进行回译生成人工数据的方法，并以提取 Tigrinya 语言为案例，研究了多种回译方法，最终发现及时利用中间语言进行回译是在低资源条件下提高性能的最有效方法。

Mar, 2021

本文提出一种新的数据增广技术，利用大规模的语言模型从混合的样本中生成逼真的文本样本，并利用语言模型预测的软标签，从大规模语言模型中蒸馏知识并同时创建文本扰动，我们在多元化的分类任务上进行数据增广实验，并展示了该方法远远优于现有的文本增广方法，消融研究和定性分析提供了更多的见解。

Apr, 2021

通过利用大语言模型，该研究提出了一种自主注释方法，不仅高效而且适用于资源有限的语言，同时构建了一个图片字幕数据集并公开了源代码供进一步研究和可复现性。

Feb, 2024

本研究提出了一种基于多任务学习的语言模型，其共享语言的语法表示，从而利用语言学信息并解决低资源数据问题，通过同时学习语言建模和语音标记来识别代码切换点的位置并改进下一个词的预测，实验表明该方法在 SEAME Phase I 和 Phase II 数据集上的困惑度分别提高了 9.7% 和 7.4%，优于基于标准 LSTM 的语言模型。

May, 2018

本文通过简单的提示使用 GPT-4 和 ChatGPT 增强有限的标注语料库，用于三种不同的分类任务，在低资源环境中通过生成的合成样本，测试了两种扩充策略：一种是维护原始标签分布，另一种则是平衡分布，实验发现，合成数据有助于实现很好的下游任务效果和极少见类别的识别。

Apr, 2023