从干净的爬取语料开始 —— 打造优秀语言模型的秘诀

Jan, 2022

从干净的爬取语料开始 —— 打造优秀语言模型的秘诀

A Warm Start and a Clean Crawled Corpus -- A Recipe for Good Language Models

Vésteinn Snæbjarnarson, Haukur Barri Símonarson, Pétur Orri Ragnarsson, Svanhvít Lilja Ingólfsdóttir, Haukur Páll Jónsson...

TL;DR本文介绍了利用冰岛语通用爬虫语料库进行训练的几种语言模型，包括 IceBERT，这些模型在诸多下游任务中均达到了最优表现。通过这些努力，我们证明了经过适当清理的网络爬虫语料库足以实现自然语言处理应用的最佳效果，并且说明使用现有的多语言模型初始化可以在某些下游任务中达到最先进的结果。

Abstract

We train several language models for Icelandic, including icebert, that achieve state-of-the-art performance in a variety of downstream tasks, including part-of-speech tagging, named entity recognition, grammatical error detection and constituency parsing. To train the models we introd

icelandic language models icebert icelandic common crawl corpus nlp applications multilingual models

发现论文，激发创造

构建冰岛实体链接语料库

本论文介绍了使用 mGENRE 多语言实体链接模型与 Wikipedia API Search（WAPIS）结合的方法，将其用于标注冰岛语数据，并与仅使用 WAPIS 的方法进行比较。结果表明，我们的组合方法在我们的语料库上达到了 53.9％的覆盖率，而仅使用 WAPIS 仅达到了 30.9％的覆盖率。此外，我们分析了未标注的数据，识别数据中的模式，并讨论为什么这些模式可能更难以注释。

Jun, 2022

朝着更干净的面向文档的多语言爬行语料库

本文介绍了通过对现有的多语言网页语料库 OSCAR 进行自动注解和改进，以获得更适合于预训练大型生成语言模型的新版本的方法。

Jan, 2022

CCNet: 从网络爬取数据中提取高质量单语数据集

该论文描述了从 Common Crawl 中提取大量高质量单语数据集的自动管道，以用于各种语言的预训练文本表示，并增加了过滤步骤以选择接近于 Wikipedia 等高质量语料库的文档。

Nov, 2019

语言模型是否关心文本质量？评估跨越 11 种语言的网络爬取语料库

经过评估，我们发现大规模网络爬取的语料库对训练语言模型的质量并不起重要作用。

Mar, 2024

验证和探索大规模地理文集

本文研究了语料库创建决策对大型多语言地理 Web 语料库的影响。通过从 Common Crawl 获取的 4270 亿个词的语料库，使用三种方法改善代表特定语言国家对 (如新西兰英语) 的子语料库质量：(i) 独立语言识别系统的一致性，(ii) 基于哈希的去重，以及 (iii) 特定位置的异常检测。然后，通过使用语料库相似度度量将每个结果语料库与基准数据集进行比较，评估每个步骤对语言级别和国家级别的影响。目标是了解上游数据清理决策对下游语料库的影响，重点关注代表性不足的语言和人口。评估结果表明，每个清理阶段都提高了子语料库的有效性，但这种改进在语言和人口之间分布不均匀。该研究结果显示了标准语料库创建技术可能会无意中排除代表性不足的人口。

Mar, 2024

一瞥即知质量：对多语言网络爬虫数据集的审计

本文主要旨在探究如何评估及提高多语料库的质量，并针对少资源语言建议相关技术，同时也讨论低质量数据发布所可能带来的潜在风险。

Mar, 2021

esCorpius: 一份庞大的西班牙语爬虫语料库

通过使用多达 1 PB 的 Common Crawl 数据，我们提出了 esCorpius，一个高质量的西班牙网络爬取语料库，利用了新颖的高度并行的清理管道和多种去重机制，以确保文档和段落边界的完整性，并遵守欧盟法规。

Jun, 2022

低资源语言的语料库品质真的很重要吗？

通过对巴斯克语的表征学习进行案例研究，我们探索了精细爬取作为替代 CommonCrawl 的方法。尽管我们的新语料库质量更高，而且在巴斯克语广泛的语料库中取得了类似的结果，但我们的工作表明，低资源语言的 NLU 性能不是主要受到数据质量的限制，而是与语料库的大小和领域覆盖等其他因素有更重要的关系。

Mar, 2022

记录大型 Webtext 语料库：以 Colossal Clean Crawled Corpus 为案例研究

本文介绍了 Colossal Clean Crawled Corpus ，并探讨数据来源、数据包含信息、筛选数据的影响，发现了机器翻译的生成文本和少数族裔个体的数据被过滤，最后提出了从互联网抓取信息构建大规模数据集的建议。

Apr, 2021

野外语言识别：通往千语言网络文本语料库的挑战

本研究重点讨论了大型文本语料库在自然语言处理任务中的重要性以及在多语言语境下收集这些数据集所需的核心技术 —— 自动语言识别，该文介绍了使用基于词表的精度可调过滤器和基于 Transformer 的半监督语言识别模型来提高数据集质量的方法，为接下来创建 1,000 种语言的网络文本语料库铺平了道路。

Oct, 2020