Jun, 2022

esCorpius: 一份庞大的西班牙语爬虫语料库

PDF
TL;DR通过使用多达 1 PB 的 Common Crawl 数据，我们提出了 esCorpius，一个高质量的西班牙网络爬取语料库，利用了新颖的高度并行的清理管道和多种去重机制，以确保文档和段落边界的完整性，并遵守欧盟法规。
transformer-based modelslanguage modellingmultilingual datasetsspanish crawling corpusdata curation
发现论文，激发创造
  • 朝着更干净的面向文档的多语言爬行语料库

    本文介绍了通过对现有的多语言网页语料库 OSCAR 进行自动注解和改进，以获得更适合于预训练大型生成语言模型的新版本的方法。

    Jan, 2022

  • 低资源语言的语料库品质真的很重要吗？

    通过对巴斯克语的表征学习进行案例研究，我们探索了精细爬取作为替代 CommonCrawl 的方法。尽管我们的新语料库质量更高，而且在巴斯克语广泛的语料库中取得了类似的结果，但我们的工作表明，低资源语言的 NLU 性能不是主要受到数据质量的限制，而是与语料库的大小和领域覆盖等其他因素有更重要的关系。

    Mar, 2022

  • 从干净的爬取语料开始 —— 打造优秀语言模型的秘诀

    本文介绍了利用冰岛语通用爬虫语料库进行训练的几种语言模型，包括 IceBERT，这些模型在诸多下游任务中均达到了最优表现。通过这些努力，我们证明了经过适当清理的网络爬虫语料库足以实现自然语言处理应用的最佳效果，并且说明使用现有的多语言模型初始化可以在某些下游任务中达到最先进的结果。

    Jan, 2022

  • CCNet: 从网络爬取数据中提取高质量单语数据集

    该论文描述了从 Common Crawl 中提取大量高质量单语数据集的自动管道，以用于各种语言的预训练文本表示，并增加了过滤步骤以选择接近于 Wikipedia 等高质量语料库的文档。

    Nov, 2019

  • 从互联网自动创建低资源语言文本语料库：以瑞士德语为例

    SwissCrawl 是目前最大的瑞士德语文本语料库之一，是使用自定义网络抓取工具生成的。它展示了如何利用公开的网络页面构建全面的文本语料库，在自然语言处理方面非常重要。在实验评估中，我们发现使用新语料库可以显著提高语言建模任务的性能。为了捕获新内容，我们的方法会持续不断地运行以增加语料库的文本。

    Nov, 2019

  • 一瞥即知质量：对多语言网络爬虫数据集的审计

    本文主要旨在探究如何评估及提高多语料库的质量，并针对少资源语言建议相关技术，同时也讨论低质量数据发布所可能带来的潜在风险。

    Mar, 2021

  • 从 Web 爬虫数据构建高质量视觉丰富文档的语料库

    提出一种高效管道，通过使用 Common Crawl 在因特网上创建大规模、多语种的 PDF 文件语料库，有助于语言模型的预训练。数据集和工具为研究者提供了开发更好的多语言语言模型的机会。

    Apr, 2023

  • InferES：面向西班牙语的自然语言推断语料库，具有基于否定的对比和对抗性示例

    本文介绍了 InferES，一个用于欧洲西班牙语自然语言推理（NLI）的原始语料库的构建和分析方法。我们通过使用专家语言学家和众包工人提供高质量的数据，并集中关注机器学习系统的性能评估和泛化能力。同时，我们使用 InferES 训练了两个 Transformer 模型，在各种情况下获得了 72.8％的准确度，并发现这些模型在题材领域内外都有很好地泛化能力，对基于否定的敌对示例也有适度的表现。

    Oct, 2022

  • 验证和探索大规模地理文集

    本文研究了语料库创建决策对大型多语言地理 Web 语料库的影响。通过从 Common Crawl 获取的 4270 亿个词的语料库，使用三种方法改善代表特定语言国家对 (如新西兰英语) 的子语料库质量：(i) 独立语言识别系统的一致性，(ii) 基于哈希的去重，以及 (iii) 特定位置的异常检测。然后，通过使用语料库相似度度量将每个结果语料库与基准数据集进行比较，评估每个步骤对语言级别和国家级别的影响。目标是了解上游数据清理决策对下游语料库的影响，重点关注代表性不足的语言和人口。评估结果表明，每个清理阶段都提高了子语料库的有效性，但这种改进在语言和人口之间分布不均匀。该研究结果显示了标准语料库创建技术可能会无意中排除代表性不足的人口。

    Mar, 2024

  • 记录大型 Webtext 语料库：以 Colossal Clean Crawled Corpus 为案例研究

    本文介绍了 Colossal Clean Crawled Corpus ，并探讨数据来源、数据包含信息、筛选数据的影响，发现了机器翻译的生成文本和少数族裔个体的数据被过滤，最后提出了从互联网抓取信息构建大规模数据集的建议。

    Apr, 2021