Nov, 2023

基于有效评估模型提取的大规模高质量中文网络文本

PDF
TL;DR我们提出了 EvalWeb，一种从嘈杂的网络数据中提取中文干净文本的完整工具链，用于帮助大型语言模型的研究。使用这种方法，我们发布了最大和最新的大规模高质量中文网络文本 ChineseWebText，其中包含 1.42 TB 的文本，并为每个文本分配了一个质量评分，从而方便 LLM 研究人员根据所需质量阈值选择数据。我们还发布了一个质量超过 90% 的 600 GB 中文数据的更清洁子集。
large language modelspre-training datallm researchchinese clean textsweb data
发现论文，激发创造
  • CCNet: 从网络爬取数据中提取高质量单语数据集

    该论文描述了从 Common Crawl 中提取大量高质量单语数据集的自动管道，以用于各种语言的预训练文本表示，并增加了过滤步骤以选择接近于 Wikipedia 等高质量语料库的文档。

    Nov, 2019

  • LongWanjuan: 往长文本质量的系统测量

    通过评估连贯性、凝聚性和复杂性三个基本语言维度，我们系统性地衡量了长文本的质量，并引入了一套度量旨在评估长文本质量的指标，包括统计和预训练语言模型为基础的指标。利用这些指标，我们提出了 LongWanjuan，一个专门为增强语言模型在长文本任务上训练而设计的双语数据集，包含超过 160B 的标记。在 LongWanjuan 中，我们将长文本划分为整体性、聚合性和混乱性三种类型，从而能够对长文本质量进行详细分析。此外，我们设计了一种数据混合配方，策略性地平衡了 LongWanjuan 中不同类型的长文本，从而显著提高了模型在长文本任务上的表现。

    Feb, 2024

  • FineWeb 数据集：对网络进行精细分离以获取大规模最佳文本数据

    FineWeb 是一个从 96 个 Common Crawl 快照中派生出的 1500 万亿标记数据集，比其他公开预训练数据集产生更好性能的大型语言模型（LLM）。LLMs 在 FineWeb 上预训练表现出更好的知识和推理能力，我们公开释放了数据集、数据整理代码库和所有在消融实验中训练的模型。

    Jun, 2024

  • WanJuan-CC：安全且高质量的开源英语网络文本数据集

    该研究介绍了万卷 - CC（WanJuan-CC），一个安全且高质量的开源英文网络文本数据集，用于语言模型的大规模预训练数据集构建。

    Feb, 2024

  • 一瞥即知质量：对多语言网络爬虫数据集的审计

    本文主要旨在探究如何评估及提高多语料库的质量，并针对少资源语言建议相关技术，同时也讨论低质量数据发布所可能带来的潜在风险。

    Mar, 2021

  • LCSTS: 一个大型的中文短文本摘要数据集

    本文介绍了一个由新浪微博构建的大型中文短文本摘要数据集，包含超过 200 万条中文短文本和对应的短摘要，并通过该数据集引入了基于递归神经网络的摘要生成方法，取得了良好的效果，该方法不仅显示了所提出数据集在短文本摘要研究中的有用性，也为后续研究提供了基线。

    Jun, 2015

  • 利用互联网优化大型语言模型

    本文提出一种利用搜索引擎对大型语言模型进行网络增强的方法，通过自适应搜索引擎辅助学习和基于重要区间预测的连续知识学习任务，使模型在各种知识密集型任务中的性能表现显著优于基于检索的增强方法。

    May, 2023

  • 语言模型是否关心文本质量？评估跨越 11 种语言的网络爬取语料库

    经过评估，我们发现大规模网络爬取的语料库对训练语言模型的质量并不起重要作用。

    Mar, 2024

  • 使用网络数据，仅限于网络数据超越精选语料库的 Falcon LLM 的 RefinedWeb 数据集

    本文表明，即使仅使用经过过滤和去重的网络数据，也可以训练出性能良好的大型语言模型，其训练数据量可以达到万亿级别，不需要过多地依赖于高质量的非网络数据的训练数据集。

    Jun, 2023

  • 基于文本质量的修剪方法用于语言模型的高效训练

    本文提出了一种用于对大型未标记 NLP 数据集中的文本质量进行数值评估的新方法，以分配给文本实例一个 “质量分数”。通过提出文本质量度量标准，本文建立了一个框架来识别和消除低质量的文本实例，提高了 LM 模型的训练效率。实验结果表明，通过这种方法，在多个模型和数据集上可以获得显著的训练效果提升，并展示了资源高效的 LM 训练的潜力。例如，在使用 OpenWebText 数据集进行训练时，相对于较少的数据量和较快的训练速度，多个 LM 模型在 14 个下游评估任务上的平均绝对准确性提高了 0.9%，在使用 Wikipedia 数据集时，平均绝对准确性提高了 0.8%。

    Apr, 2024