这项研究介绍了一个由超过500GB的阿拉伯语言清理文本构成的语料库，旨在提高大规模语言模型的跨领域知识和下游泛化能力。此外，该语料库还被用于大型阿拉伯语言模型的训练，在对典型的NLP任务进行微调时，与mBERT相比表现出4.5%至8.5%的显着提升，据我所知，这是目前所收集的最大、最清洁、最具多样性的阿拉伯语语料库。

Jan, 2022

描述了我们构建跨越1000个语言翻译的实用机器翻译系统的努力，包括构建干净的数据集、使用监督并行数据训练的大规模多语言模型和单语数据集以及研究评估语言的限制和误差模式。

May, 2022

该论文讲述了开普敦大学提交给WMT22大规模机器翻译评估竞赛的受限跟踪的情况。该系统是一个单一的多语种翻译模型，可在英语和8种南部/东南部非洲语言之间进行翻译，并可在特定的非洲语言对之间进行翻译。该研究采用了多种适用于低资源机器翻译的技术，包括重叠BPE、回译、合成训练数据生成以及在训练过程中增加更多的翻译方向。结果表明，这些技术的价值尤为突出，特别是对于非常少或没有双语训练数据可用的方向。

Oct, 2022

通过翻译英文推文到阿拉伯文的海湾、也门、伊拉克和黎凡特方言，我们构建了一个在线社交网络基础多方言阿拉伯文数据集，用以改善阿拉伯文多方言机器翻译系统的性能。

Sep, 2023

FineWeb是一个从96个Common Crawl快照中派生出的1500万亿标记数据集，比其他公开预训练数据集产生更好性能的大型语言模型（LLM）。LLMs在FineWeb上预训练表现出更好的知识和推理能力，我们公开释放了数据集、数据整理代码库和所有在消融实验中训练的模型。

Jun, 2024

使用大型语言模型，我们关注阿拉伯语故事生成任务，通过机器翻译和GPT-4训练数据来生成适合阿拉伯语环境的故事，经过人工和自动评估，证明我们的模型能够生成符合要求的连贯故事。

Jul, 2024

本研究解决了古典阿拉伯语翻译数据集稀缺的问题，此类数据集通常范围和主题有限，影响翻译系统的开发。我们提出了ATHAR数据集，包含66,000个高质量的古典阿拉伯语到英语的翻译样本，涉及科学、文化和哲学等广泛主题。研究结果表明，现有的大型语言模型在利用该数据集进行微调或纳入预训练管道时可显著提升性能。

Jul, 2024

本研究关注大型语言模型(LLMs)在特定组织翻译中的表现，尤其是微调过程中的数据规模影响。通过结合翻译记忆(TMs)，我们发现扩大的训练集规模在多种评估指标上显著提升了翻译质量，最大数据集的BLEU和COMET评分分别比基线模型提高了13和25分。这一发现为企业提供了利用TMs和LLMs优化翻译效果的宝贵见解。

Sep, 2024

本研究解决了大型语言模型（LLMs）在组织特定翻译中面临的细微差别与风格问题。通过利用翻译记忆（TMs）对Llama 3模型进行微调，研究表明使用更大规模的数据集能够显著提高翻译质量，尤其在软件行业的应用上具有重要的潜在影响。

Sep, 2024

本研究旨在解决阿拉伯语在大型语言模型中方言表现不足的问题，提出了七个合成数据集，并创建了AraDiCE基准，以评估阿拉伯方言和文化意识。研究发现，虽然特定阿拉伯模型在方言任务上表现优于多语言模型，但在方言识别和生成方面仍面临重大挑战，从而彰显了定制训练的重要性。

Sep, 2024