EMNLPMar, 2022

低资源语言的语料库品质真的很重要吗？

PDF
TL;DR通过对巴斯克语的表征学习进行案例研究，我们探索了精细爬取作为替代 CommonCrawl 的方法。尽管我们的新语料库质量更高，而且在巴斯克语广泛的语料库中取得了类似的结果，但我们的工作表明，低资源语言的 NLU 性能不是主要受到数据质量的限制，而是与语料库的大小和领域覆盖等其他因素有更重要的关系。
corporacommoncrawlrepresentation learningbasquenlu performance
发现论文，激发创造
  • 语言模型是否关心文本质量？评估跨越 11 种语言的网络爬取语料库

    经过评估，我们发现大规模网络爬取的语料库对训练语言模型的质量并不起重要作用。

    Mar, 2024

  • 一瞥即知质量：对多语言网络爬虫数据集的审计

    本文主要旨在探究如何评估及提高多语料库的质量，并针对少资源语言建议相关技术，同时也讨论低质量数据发布所可能带来的潜在风险。

    Mar, 2021

  • 质量确实重要：对网络挖掘平行语料库的质量和实用性的详细研究

    我们对两种低资源语言（英语 - 僧伽罗语、英语 - 泰米尔语和僧伽罗语 - 泰米尔语）的网络挖掘语料库的质量进行了详细分析。我们根据相似度度量对每个语料库进行了排序，并对排名的语料库的不同部分进行了内在和外在评估。我们表明，不同部分的网络挖掘语料库之间存在显著的质量差异，而且质量在不同语言和数据集之间存在变化。我们还表明，对于某些网络挖掘数据集，使用最高排名的 25k 部分训练的神经机器翻译（NMT）模型可以与人工策划的数据集媲美。

    Feb, 2024

  • 验证和探索大规模地理文集

    本文研究了语料库创建决策对大型多语言地理 Web 语料库的影响。通过从 Common Crawl 获取的 4270 亿个词的语料库，使用三种方法改善代表特定语言国家对 (如新西兰英语) 的子语料库质量：(i) 独立语言识别系统的一致性，(ii) 基于哈希的去重，以及 (iii) 特定位置的异常检测。然后，通过使用语料库相似度度量将每个结果语料库与基准数据集进行比较，评估每个步骤对语言级别和国家级别的影响。目标是了解上游数据清理决策对下游语料库的影响，重点关注代表性不足的语言和人口。评估结果表明，每个清理阶段都提高了子语料库的有效性，但这种改进在语言和人口之间分布不均匀。该研究结果显示了标准语料库创建技术可能会无意中排除代表性不足的人口。

    Mar, 2024

  • CCNet: 从网络爬取数据中提取高质量单语数据集

    该论文描述了从 Common Crawl 中提取大量高质量单语数据集的自动管道，以用于各种语言的预训练文本表示，并增加了过滤步骤以选择接近于 Wikipedia 等高质量语料库的文档。

    Nov, 2019

  • NusaWrites：为代表性和极度资源匮乏的语言构建高质量语料库

    对印尼本土语言进行案例研究的结果表明，原生说话者通过段落撰写所生成的数据集在词汇多样性和文化内容方面优质，有助于推广自然语言处理技术到较少研究的语言领域。

    Sep, 2023

  • 朝着更干净的面向文档的多语言爬行语料库

    本文介绍了通过对现有的多语言网页语料库 OSCAR 进行自动注解和改进，以获得更适合于预训练大型生成语言模型的新版本的方法。

    Jan, 2022

  • 日耳曼语系低资源语言和方言语料库调查

    这篇论文对德国 ic 低资源语言变体的可用语料库进行了系统性调查，发现手工注释的语言资源稀缺，大多数仅涵盖形态和句法，但活跃的研究社区正在不断发展。作者还特意分享了超过 80 个语料库的大概率浏览与查看。

    Apr, 2023

  • esCorpius: 一份庞大的西班牙语爬虫语料库

    通过使用多达 1 PB 的 Common Crawl 数据，我们提出了 esCorpius，一个高质量的西班牙网络爬取语料库，利用了新颖的高度并行的清理管道和多种去重机制，以确保文档和段落边界的完整性，并遵守欧盟法规。

    Jun, 2022

  • 记录大型 Webtext 语料库：以 Colossal Clean Crawled Corpus 为案例研究

    本文介绍了 Colossal Clean Crawled Corpus ，并探讨数据来源、数据包含信息、筛选数据的影响，发现了机器翻译的生成文本和少数族裔个体的数据被过滤，最后提出了从互联网抓取信息构建大规模数据集的建议。

    Apr, 2021