使用ASK ME ANYTHING（AMA）方法，通过开发多种不同的有效提示信息并进行权衡，采用弱监督程序结合这些提示信息来创造性地提高了大型语言模型的性能。该方法可以使开源GPT-J-6B模型在15个流行基准测试中优于few-shot GPT3-175B模型。

Oct, 2022

综述了大型语言模型对阿拉伯语方言的机器翻译效能以及在翻译任务中与人类指令的对齐能力，发现大型语言模型在处理某些阿拉伯语方言时可能面临挑战，尤其是针对缺乏公开数据的阿尔及利亚和毛里塔尼亚方言，但对更普遍的方言表现令人满意，虽然偶尔落后于像Google翻译这样的商业系统。总体而言，现有的大型语言模型在包容性方面仍有待改进，仅具有有限的能力来满足不同社区之间的语言和文化复杂性需求。

Aug, 2023

近期，将大型语言模型 fine-tuned 后用于人类指令的研究表明在各种英语自然语言处理任务上取得了显著的能力，但在语法错误纠正任务中，特别是在非英语语言中的应用仍有待深入探索。本文研究了 fine-tuned 后的语言模型在阿拉伯语语法错误纠正中的能力，该任务由于阿拉伯语的丰富形态而变得复杂。我们的研究结果表明，各种提示方法与（上下文中的）少样本学习相结合，具有明显的效果，GPT-4 在专家提示下的 F extsubscript{1} 分数可达到 65.49（比我们建立的基线高出约5个点），这凸显了语言模型在低资源环境中的潜力，为模型训练生成有用的合成数据提供了可行的方法。尽管取得了这些积极的结果，我们发现无论大小如何，fine-tuned 后的模型在性能上显著低于大小显著较小的完全 fine-tuned 模型，这种差异突显了语言模型改进的重要空间。受低资源机器翻译方法的启发，我们还开发了一种利用合成数据的方法，该方法在两个标准阿拉伯语基准测试上显著优于先前的模型。我们的工作在阿拉伯语语法错误纠正领域取得了新的最佳结果，分别达到了2014和2015年QALB数据集的 72.19% 和 73.26 的 F$_{1}$ 值。

Aug, 2023

对于阿拉伯语的语法错误纠正任务，研究发现使用各种提示方法和少量样本学习的指令微调大型语言模型具有显著的效果，但是无论规模大小，指令微调模型的性能仍然不及完全微调的模型，此差距指出了语言模型改进的空间。同时，借鉴低资源机器翻译方法，利用合成数据也能显著提升阿拉伯语语法错误纠正的性能， 在两个标准阿拉伯语数据集上创造了新的最佳结果，分别达到73.29和73.26的F1分数，相比于同行评审发表的基准模型。

Dec, 2023

通过研究生成式大型语言模型在机器翻译中的性能，我们发现多语言模型（如PaLM）在人工翻译输出方面表现出类似人类的水平，能够根据样式指南和语言要求优化所需的翻译细微差别，并在处理和应用提示上表现出色。我们还针对流行的语言模型作为机器翻译工具的错误和限制进行了分类和提出了设计提示进行上下文学习的方法。通过改进评估指标的准确性和可靠性，我们的研究旨在促进生成式大型语言模型在机器翻译中的进步。

Jan, 2024

将LLaMa适应于Kinyarwanda、Hausa和Luganda等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和LAFT，并在所有任务和语言上表现最佳。

Mar, 2024

我们通过创建阿拉伯语指令数据集，对两个开源模型进行微调并在多个下游任务上进行评估，最终达到了阿拉伯语自然语言处理基准的最新性能水平。

Jul, 2024

使用大型语言模型，我们关注阿拉伯语故事生成任务，通过机器翻译和GPT-4训练数据来生成适合阿拉伯语环境的故事，经过人工和自动评估，证明我们的模型能够生成符合要求的连贯故事。

Jul, 2024

本研究针对大型语言模型在自然语言处理中的提示策略进行了分析，尤其关注本土和非本土语言对模型效能的影响。通过在12个阿拉伯语数据集上进行197次实验，发现非本土提示通常效果最佳，这为提升低资源语言的模型性能提供了新的思路。

Sep, 2024

本研究针对多语言大型语言模型在代码混合（即在一次发言中混合多种语言）的机器翻译能力不足的现状，提出了一种新的规则基础提示技术。研究发现，尽管通过k-shot提示（$k\in\{0, 1, 10, 20\}$）通常能取得最佳效果，但规则基础提示在生成独特的代码混合句子方面展现出潜力，并创建了涵盖五种语言对的黄金标准代码混合数据集。

Oct, 2024