common crawl | BriefGPT - AI 论文速递

关键词common crawl

搜索结果 - 6

CC-GPX: 从 Common Crawl 抽取高质量注释的地理空间数据
通过使用 Common Crawl 作为带注释的地理空间数据的来源，该研究论文提出了一个高效的流水线来从 CC 中的 GPX 文件中提取带注释的用户生成轨迹，并生成了包含 1,416 对人工书写描述和 MultiLineString 矢量数
PDF2 months ago
ACL公共网络抓取语料库中的不良内容初步分析
本文探讨了当前神经语言模型的成功主要归功于训练语料库规模的不断增大。但是，我们扩大了对 Common Crawl 的探索，发现即使在过滤程序之后，它仍然包含大量不良内容，包括仇恨言论和性暗示内容。我们对这些内容对语言模型的潜在影响进行了讨论
PDF3 years ago
MUSS: 通过挖掘释义实现多语言无监督句子简化
MUSS 是一种无监督句子简化系统，可以通过句子级复述数据训练模型，而不需要标记简化数据。该系统还可以从 Common Crawl 中使用语义句子嵌入挖掘语言无关的复述数据，并在英语，法语和西班牙语简化基准测试中进行评估，获得与有监督方法最
PDF4 years ago
CCNet: 从网络爬取数据中提取高质量单语数据集
该论文描述了从 Common Crawl 中提取大量高质量单语数据集的自动管道，以用于各种语言的预训练文本表示，并增加了过滤步骤以选择接近于 Wikipedia 等高质量语料库的文档。
PDF5 years ago
回答比较型问题：比传统搜索结果更优秀？
CAM 是一种新颖的开放领域 IR 系统，可以通过从公共爬行中提取的信息在论证上比较对象。通过用户研究，发现相比于基于关键字搜索的 “传统” 方法，使用 CAM 可以获得 15％更准确的答案，并且在寻找比较问题的答案方面更快 20％。
PDF5 years ago
维基百科的文本重用：内部和外部
Wikipedia 的文本复用在内外部的意义和影响等方面被探讨，并利用最先进的文本复用探测技术在分布式检索管道中规模化处理了整个维基百科。
PDF6 years ago