Nov, 2023

Oasis: 大型语言模型预训练的数据筛选和评估系统

PDF
TL;DR数据是构建大规模语言模型的最关键元素之一，我们提出了一个名为 Oasis 的预训练数据整理和评估平台，通过用户友好的交互界面实现数据质量改进和量化评估，平台包括自定义数据整理模块和全面的数据评估模块，还发布了由 Oasis 整理的一个 800GB 双语语料库。
large language modeldata curationcorpus assessmentoasispretraining data
发现论文，激发创造
  • 朝着更干净的面向文档的多语言爬行语料库

    本文介绍了通过对现有的多语言网页语料库 OSCAR 进行自动注解和改进，以获得更适合于预训练大型生成语言模型的新版本的方法。

    Jan, 2022

  • 利用分类器筛选语料库：以在线清洁能源情感为例的案例研究

    本文探讨了如何使用经过预训练和微调的 transformer-based 模型筛选社交媒体数据集中的相关文档，以达到高准确度的目的。该方法的低成本和高性能意味着它对于具有不确定语料库边界的社交媒体数据集可能具有广泛的好处。

    May, 2023

  • 使用网络数据，仅限于网络数据超越精选语料库的 Falcon LLM 的 RefinedWeb 数据集

    本文表明，即使仅使用经过过滤和去重的网络数据，也可以训练出性能良好的大型语言模型，其训练数据量可以达到万亿级别，不需要过多地依赖于高质量的非网络数据的训练数据集。

    Jun, 2023

  • 一瞥即知质量：对多语言网络爬虫数据集的审计

    本文主要旨在探究如何评估及提高多语料库的质量，并针对少资源语言建议相关技术，同时也讨论低质量数据发布所可能带来的潜在风险。

    Mar, 2021

  • 预训练基础模型的整合数据处理框架

    基于统一数据处理框架，提出基于大规模、多样化和高质量预训练数据的基础模型，并通过例子和测试展示其在提高数据质量方面的效果。

    Feb, 2024

  • 面向语言建模的大规模多样化阿拉伯语语料库

    这项研究介绍了一个由超过 500GB 的阿拉伯语言清理文本构成的语料库，旨在提高大规模语言模型的跨领域知识和下游泛化能力。此外，该语料库还被用于大型阿拉伯语言模型的训练，在对典型的 NLP 任务进行微调时，与 mBERT 相比表现出 4.5% 至 8.5% 的显着提升，据我所知，这是目前所收集的最大、最清洁、最具多样性的阿拉伯语语料库。

    Jan, 2022

  • 为促进语言科技的多样性，构建和维护对话语料库

    提供了分析流程和最佳实践准则来构建和策划日常会话语料库，并开发了质量控制方法。通过两个案例研究展示了会话数据的广泛实用性，并讨论了语言多样性会话语料库对语言科学和语言技术的强有力的经验基础。

    Mar, 2022

  • 关于阿拉伯语语言模型预训练中数据规模的重要性

    通过在规模庞大、高质量的阿拉伯语语料库上重新训练，我们显著提高了领先的阿拉伯编码器型 BERT-based 和编码器解码器型 T5-based 的性能，表现出同类模型的最新技术结果；我们的分析强烈暗示，预训练数据远远是性能的主要贡献因素，超越其他因素。

    Jan, 2024

  • ORCA：通过定位预训练数据海洋中的支持数据证据解释提示型语言模型

    本文旨在探究预训练模型在零样本情况下的特定任务认知。通过对支持数据证据进行迭代使用，可以发现 BERT 在情感分析和文本蕴含任务中对 BookCorpus 预训练数据的大量依赖，以及对掩盖任务动词词汇同义词的预训练示例的依赖。

    May, 2022

  • CCNet: 从网络爬取数据中提取高质量单语数据集

    该论文描述了从 Common Crawl 中提取大量高质量单语数据集的自动管道，以用于各种语言的预训练文本表示，并增加了过滤步骤以选择接近于 Wikipedia 等高质量语料库的文档。

    Nov, 2019