May, 2024

CC-GPX: 从 Common Crawl 抽取高质量注释的地理空间数据

PDF
TL;DR通过使用 Common Crawl 作为带注释的地理空间数据的来源，该研究论文提出了一个高效的流水线来从 CC 中的 GPX 文件中提取带注释的用户生成轨迹，并生成了包含 1,416 对人工书写描述和 MultiLineString 矢量数据的多模态数据集，该数据集可用于研究人们的室外活动模式、人们谈论自己室外体验的方式，以及轨迹生成或轨迹注释模型的开发。
common crawlgeospatial datauser-generated tracksoutdoor activity patternstrajectory generation
发现论文，激发创造
  • 在 Common Crawl 语料库中量化地理空间

    分析大型语言模型对 Common Crawl 数据集的地理空间数据的利用率，发现 1/5 至 1/6 的文档中包含有经纬度和街道地址等地理空间信息，为进一步研究有关地理空间内容对大型语言模型的影响提供了定量的见解。

    Jun, 2024

  • CCNet: 从网络爬取数据中提取高质量单语数据集

    该论文描述了从 Common Crawl 中提取大量高质量单语数据集的自动管道，以用于各种语言的预训练文本表示，并增加了过滤步骤以选择接近于 Wikipedia 等高质量语料库的文档。

    Nov, 2019

  • 从 CommonCrawl 构建 Web 规模的依赖解析语料库

    介绍了 DepCC，这是迄今为止最大的英文语言分析语料库，包括 365 万份文档，由 Common Crawl 项目的 2520 亿个符记和 75 亿个命名实体出现组成，可以通过一些应用程序使用，例如基于句法的词嵌入训练，信息提取和问题回答等。该语料库构建了所有句子及其语言元数据的索引，可以快速搜索整个语料库，并在动词相似性任务上证明了其效用，显示训练在我们此语料库上的分布模型比维基百科的小语料库上训练的模型的效果更好。该分布模型在 SimVerb3500 数据集上优于基于小语料库训练的动词相似性的最新模型。

    Oct, 2017

  • 从 Web 爬虫数据构建高质量视觉丰富文档的语料库

    提出一种高效管道，通过使用 Common Crawl 在因特网上创建大规模、多语种的 PDF 文件语料库，有助于语言模型的预训练。数据集和工具为研究者提供了开发更好的多语言语言模型的机会。

    Apr, 2023

  • WanJuan-CC：安全且高质量的开源英语网络文本数据集

    该研究介绍了万卷 - CC（WanJuan-CC），一个安全且高质量的开源英文网络文本数据集，用于语言模型的大规模预训练数据集构建。

    Feb, 2024

  • CC 查询：从公共语料库中发掘大规模领域特定知识

    通过大语言模型引导的数据收集方法 Query of CC，我们构建了高质量的知识数据集 Knowledge Pile，包括数学和知识相关推理能力测试，并开源了我们的数据集和代码，为学术界提供有价值的支持。

    Jan, 2024

  • 探索性分析大容量网络语料库

    本研究使用 MapReduce 对 Common Crawl Corpus 进行了初步分析，总结出语言分布和 HTML 版本是该数据集中尚未被研究的网页特征之一。

    Sep, 2014

  • 朝着更干净的面向文档的多语言爬行语料库

    本文介绍了通过对现有的多语言网页语料库 OSCAR 进行自动注解和改进，以获得更适合于预训练大型生成语言模型的新版本的方法。

    Jan, 2022

  • 记录大型 Webtext 语料库：以 Colossal Clean Crawled Corpus 为案例研究

    本文介绍了 Colossal Clean Crawled Corpus ，并探讨数据来源、数据包含信息、筛选数据的影响，发现了机器翻译的生成文本和少数族裔个体的数据被过滤，最后提出了从互联网抓取信息构建大规模数据集的建议。

    Apr, 2021

  • CCQA：用于模型预训练的新型 Web 规模问答数据集

    本文提出一种在 Common Crawl 项目的基础上，使用大规模、自然、多样化问答数据集进行领域内预训练的方法，该方法可以用于 open-domain question-answering 任务中的零样本、低资源和微调设置，展示了预训练在该任务中的潜力。

    Oct, 2021