Feb, 2024

Aya 数据集：一份用于多语言指导调优的开放获取集合

PDF
TL;DR本研究针对英语语言数据集的局限性，通过与全球流利的语言使用者合作，建立了覆盖 65 种语言的人工策划指令跟随数据集，并通过模板和翻译现有数据集创建了迄今最广泛的多语言数据集，共包含 5.13 亿个实例。此外，我们还提供 Aya 注释平台、Aya 数据集、Aya 集合和 Aya 评估套件等四个关键资源，而且 Aya 倡议还是一项有价值的参与性研究案例，涉及来自 119 个国家的合作者，我们认为此为未来旨在弥补资源差距的研究合作提供了宝贵的框架。
datasetsnatural language processinginstruction fine-tuningmultilingual collectionparticipatory research
发现论文，激发创造
  • Aya 模型：一种指令微调的开放式多语言语言模型

    用 101 种语言的指令追踪的 Aya 广泛多语言生成语言模型在多任务中表现优越，同时扩展了用于 99 种语言的多语言评估的最新技术水平，并进行了关于优化微调混合成分、数据修剪以及模型的毒性、偏见和安全性的详细研究。

    Feb, 2024

  • 从基础到会话：日语指导数据集和调整大型语言模型

    我们构建了一个日本指令数据集，并将其应用于一个日本预训练基础模型。通过我们的指令数据集，对日本和英文现有模型进行了低秩调整（LoRA）。从定量和定性的角度评估了这些模型，结果证实了日本指令数据集的有效性。同时也指出，即使在相对较小的大语言模型中，通过指令调整也能提高下游任务的性能。我们的指令数据集、调整模型和实现代码已在网上公开提供。

    Sep, 2023

  • 通过自然语言和多样化数据集改进多语言指导微调

    利用英语为主要依据的大型语言模型（LLMs）、单语语料库和评分函数，我们提出了一种新颖的方法来收集多语言的指令微调（IFT）数据集，以保持语言的自然性和确保批示的多样性。实验证明，使用我们的 IFT 数据集进行微调的 LLMs 在生成和判别任务方面都显示出显著的改进，表明 LLMs 在非英语环境中的语言理解能力得到了提升。特别是在多语言摘要任务中，使用我们的 IFT 数据集进行微调的 LLMs 相对于采用基于翻译和基于模板的数据集进行微调的 LLMs 分别实现了 17.57% 和 15.23% 的改进。

    Jul, 2024

  • Aya 23: 开放权重发布以促进多语言进展

    Aya 23 是一种多语言语言模型，在扩展接近全球人口一半的 23 种语言的同时，通过将更多容量分配给预训练阶段包含的少量语言，Aya 23 在其涵盖的语言上表现较好，超过了 Aya 101 等大规模多语言模型以及 Gemma、Mistral 和 Mixtral 等广泛使用的模型，在广泛的区别性和生成性任务上有着出色的表现。

    May, 2024

  • IndicLLMSuite：针对印度语言创建预训练和微调数据集的蓝图

    通过引入针对 Indic LLMs 开发的广泛资源套件，包括 22 种语言，总共有 251 亿词汇和 7480 万指令 - 响应对，我们的工作旨在弥合其他语言的类似模型建设进展受限于资源稀缺的差距。我们的方法结合了高度策划的手动验证数据、有价值但未验证的数据和合成数据，建立了一个干净的开源流水线，用于从各种来源收集预训练数据，并采用最佳实践进行爬取、清理、标记和去重。我们还通过生成多种情景的有毒提示来解决毒性对齐问题，并通过将这些有毒提示输入到经过校对的 LLaMa2 模型中生成非有毒响应。我们希望本工作释放的数据、工具和资源不仅能推动 Indic LLMs 的研究和开发，还能为将这种努力扩展到其他语言建立一个开源蓝图。作为本工作的一部分，创建的数据和其他文物都以宽松的许可证发布。

    Mar, 2024

  • M$^3$IT: 多模态多语言指令调整的大规模数据集

    本文介绍了 Multi-Modal Multilingual Instruction Tuning 数据集，其中包含了 40 个经过精心筛选的数据集，共 2.4 百万个实例和 400 个任务指令，可用于优化视觉语言模型的人类指令对齐，同时介绍了在此数据集上训练的 Ying-VLM 视觉语言模型的表现。

    Jun, 2023

  • 音频 - 语言表示学习的大规模数据集

    我们提出了一种基于公共工具或 API 的创新型自动音频说明生成流程，并构建了一个大规模、高质量的音频语言数据集 Auto-ACD，其中包含超过 190 万个音频文本对。通过在我们的数据集上训练流行模型并展示在各种下游任务（包括音频语言检索、音频说明和环境分类）上的性能改进，证明了所提出数据集的有效性。此外，我们建立了一个新颖的测试集，并为音频文本任务提供了一个基准。该数据集将在此 https URL 上发布。

    Sep, 2023

  • Tatoeba 翻译挑战：低资源和多语言 MT 的现实数据集

    本文介绍了一种新的机器翻译基准，为超过 500 种语言的数千种语言对提供了训练和测试数据，并提供了从该集合创建最先进的翻译模型的工具，旨在促进开放翻译工具和具有更广泛语言覆盖范围的模型的发展。

    Oct, 2020

  • 小型语言模型能为较大语言模型选择调整训练数据

    通过基于样本学习百分比的训练数据选择，我们展示了当前语言模型具备自主选择高质量训练数据的能力，这极大地降低了训练成本且达到或超过整个数据集训练的性能表现。

    Feb, 2024

  • Taxi1500：1500 种语言文本分类的多语言数据集

    通过并行翻译圣经来开发广泛的主题，并利用众包工具收集标记数据，标注英文端的数据，并通过已对齐的诗句将标签映射到其他语言，从而为 1500 多种语言生成文本分类数据集，并对多个现有的多语言语言模型进行广泛基准测试。

    May, 2023