Nov, 2019

从互联网自动创建低资源语言文本语料库：以瑞士德语为例

PDF
TL;DRSwissCrawl 是目前最大的瑞士德语文本语料库之一，是使用自定义网络抓取工具生成的。它展示了如何利用公开的网络页面构建全面的文本语料库，在自然语言处理方面非常重要。在实验评估中，我们发现使用新语料库可以显著提高语言建模任务的性能。为了捕获新内容，我们的方法会持续不断地运行以增加语料库的文本。
发现论文，激发创造
  • 德语自动易读性评估和文本简化语料库

    该研究提供了一个从网络资源中编制而来的德语语料库，可用于自动易读性评估和自动文本简化，并包含文字结构、排版和图片信息，可以作为机器学习方法中易读性评估和文本简化的一部分。本研究重点关注将此信息作为现有语料库标准的扩展。

    Sep, 2019

  • 记录大型 Webtext 语料库：以 Colossal Clean Crawled Corpus 为案例研究

    本文介绍了 Colossal Clean Crawled Corpus ，并探讨数据来源、数据包含信息、筛选数据的影响，发现了机器翻译的生成文本和少数族裔个体的数据被过滤，最后提出了从互联网抓取信息构建大规模数据集的建议。

    Apr, 2021

  • 验证和探索大规模地理文集

    本文研究了语料库创建决策对大型多语言地理 Web 语料库的影响。通过从 Common Crawl 获取的 4270 亿个词的语料库，使用三种方法改善代表特定语言国家对 (如新西兰英语) 的子语料库质量：(i) 独立语言识别系统的一致性，(ii) 基于哈希的去重，以及 (iii) 特定位置的异常检测。然后，通过使用语料库相似度度量将每个结果语料库与基准数据集进行比较，评估每个步骤对语言级别和国家级别的影响。目标是了解上游数据清理决策对下游语料库的影响，重点关注代表性不足的语言和人口。评估结果表明，每个清理阶段都提高了子语料库的有效性，但这种改进在语言和人口之间分布不均匀。该研究结果显示了标准语料库创建技术可能会无意中排除代表性不足的人口。

    Mar, 2024

  • STT4SG-350: 一份面向瑞士所有德语方言地区的语音语料库

    提供了一份瑞士德语语音的语料库，包含了来自各个方言区的 316 名发言者的 343 小时语音数据，并提供了这些发言者的方言、年龄和性别信息。该语料库适用于自动语音识别、文本到语音、方言识别和说话人识别等应用领域，并提供了训练集、验证集和测试集，训练出的模型在测试集上取得了较好的效果。

    May, 2023

  • NusaWrites：为代表性和极度资源匮乏的语言构建高质量语料库

    对印尼本土语言进行案例研究的结果表明，原生说话者通过段落撰写所生成的数据集在词汇多样性和文化内容方面优质，有助于推广自然语言处理技术到较少研究的语言领域。

    Sep, 2023

  • 日耳曼语系低资源语言和方言语料库调查

    这篇论文对德国 ic 低资源语言变体的可用语料库进行了系统性调查，发现手工注释的语言资源稀缺，大多数仅涵盖形态和句法，但活跃的研究社区正在不断发展。作者还特意分享了超过 80 个语料库的大概率浏览与查看。

    Apr, 2023

  • 一瞥即知质量：对多语言网络爬虫数据集的审计

    本文主要旨在探究如何评估及提高多语料库的质量，并针对少资源语言建议相关技术，同时也讨论低质量数据发布所可能带来的潜在风险。

    Mar, 2021

  • 朝着更干净的面向文档的多语言爬行语料库

    本文介绍了通过对现有的多语言网页语料库 OSCAR 进行自动注解和改进，以获得更适合于预训练大型生成语言模型的新版本的方法。

    Jan, 2022

  • 计算语言学文档实验用的极低资源语音语料库

    这篇论文介绍了一个收集自非洲 Bantu C25 语族中的一种语言 Mboshi 的语音语料库，在几乎零的资源条件下构建了该语料库，并利用其中的数据完成了口语术语发现。该论文讨论了如何收集，清理和处理数据，并将该数据集提供给社区进行可重现的计算语言文献研究和评估。

    Oct, 2017

  • 低资源语言的语料库品质真的很重要吗？

    通过对巴斯克语的表征学习进行案例研究，我们探索了精细爬取作为替代 CommonCrawl 的方法。尽管我们的新语料库质量更高，而且在巴斯克语广泛的语料库中取得了类似的结果，但我们的工作表明，低资源语言的 NLU 性能不是主要受到数据质量的限制，而是与语料库的大小和领域覆盖等其他因素有更重要的关系。

    Mar, 2022