大型语言模型的能力来源于它们的预训练数据，而模型开发始于数据筛选。我们的研究基于网络文本，将其连接到社交和地理背景，并创建了一个包含 1030 万个网站创作者自我描述的新数据集，提取了关于他们的兴趣、社交角色和地理隶属的信息。然后，我们进行了第一项研究，调查了十种 “质量” 和英语语言标识（langID）过滤器对这些社交维度变化的网页的影响。我们的实验揭示了数据筛选中一系列的隐含偏好：我们发现一些质量分类器像专题领域过滤器一样起到作用，而 langID 可能会忽视世界上某些地区的英语内容。总体而言，我们希望我们的工作能够促进关于预训练数据筛选实践及其社会影响的新的研究方向。

Jan, 2024

使用 QuRating 方法选择预训练数据，可以捕捉人们直观感知的文本抽象品质。通过对四个品质进行分析，我们发现 LLMs 在进行文本配对判断方面表现优于直接评价文本质量。使用 QuRater 模型学习从配对判断中学习标量评分，并使用它为 260B 训练语料库的每个标准进行质量评级。根据不同的质量评级选择 30B 令牌，并在选定的数据上训练 13B 参数的语言模型。平衡质量和多样性很重要，仅选择最高评级的文档会导致较差的结果。通过使用质量评级作为逻辑的采样，我们的模型在困惑度和上下文学习性能方面均优于基准模型。除了数据选择外，我们使用质量评级构建了一个训练课程，提高了性能而无需更改训练数据集。我们对质量评级进行了广泛分析，并讨论了其特征、偏见和广泛的影响。

Feb, 2024

本文主要旨在探究如何评估及提高多语料库的质量，并针对少资源语言建议相关技术，同时也讨论低质量数据发布所可能带来的潜在风险。

Mar, 2021

通过对巴斯克语的表征学习进行案例研究，我们探索了精细爬取作为替代 CommonCrawl 的方法。尽管我们的新语料库质量更高，而且在巴斯克语广泛的语料库中取得了类似的结果，但我们的工作表明，低资源语言的 NLU 性能不是主要受到数据质量的限制，而是与语料库的大小和领域覆盖等其他因素有更重要的关系。

Mar, 2022

本文提出了一种用于对大型未标记 NLP 数据集中的文本质量进行数值评估的新方法，以分配给文本实例一个 “质量分数”。通过提出文本质量度量标准，本文建立了一个框架来识别和消除低质量的文本实例，提高了 LM 模型的训练效率。实验结果表明，通过这种方法，在多个模型和数据集上可以获得显著的训练效果提升，并展示了资源高效的 LM 训练的潜力。例如，在使用 OpenWebText 数据集进行训练时，相对于较少的数据量和较快的训练速度，多个 LM 模型在 14 个下游评估任务上的平均绝对准确性提高了 0.9%，在使用 Wikipedia 数据集时，平均绝对准确性提高了 0.8%。

Apr, 2024

经过评估，我们发现大规模网络爬取的语料库对训练语言模型的质量并不起重要作用。

Mar, 2024

我们对两种低资源语言（英语 - 僧伽罗语、英语 - 泰米尔语和僧伽罗语 - 泰米尔语）的网络挖掘语料库的质量进行了详细分析。我们根据相似度度量对每个语料库进行了排序，并对排名的语料库的不同部分进行了内在和外在评估。我们表明，不同部分的网络挖掘语料库之间存在显著的质量差异，而且质量在不同语言和数据集之间存在变化。我们还表明，对于某些网络挖掘数据集，使用最高排名的 25k 部分训练的神经机器翻译（NMT）模型可以与人工策划的数据集媲美。

Feb, 2024

该论文描述了从 Common Crawl 中提取大量高质量单语数据集的自动管道，以用于各种语言的预训练文本表示，并增加了过滤步骤以选择接近于 Wikipedia 等高质量语料库的文档。

Nov, 2019

我们的研究发现，数据过滤方法在图像和文本领域也存在偏见和价值观，并且与一些边缘群体相关的数据更容易被排除。此外，我们还发现现有的数据过滤方法可能加剧数据收集中存在的不平衡问题，并且有必要对数据集的创建和过滤做出根本性的改变。

May, 2024

我们提出了 EvalWeb，一种从嘈杂的网络数据中提取中文干净文本的完整工具链，用于帮助大型语言模型的研究。使用这种方法，我们发布了最大和最新的大规模高质量中文网络文本 ChineseWebText，其中包含 1.42 TB 的文本，并为每个文本分配了一个质量评分，从而方便 LLM 研究人员根据所需质量阈值选择数据。我们还发布了一个质量超过 90% 的 600 GB 中文数据的更清洁子集。

Nov, 2023