本文介绍了一种机器学习的文献采集平台，能够帮助用户快速提取具备结构化的文本信息，有效性能表现在数据转换及多种方面已经得到证实。

May, 2018

提出一种高效管道，通过使用 Common Crawl 在因特网上创建大规模、多语种的 PDF 文件语料库，有助于语言模型的预训练。数据集和工具为研究者提供了开发更好的多语言语言模型的机会。

Apr, 2023

该研究论文介绍了针对 PDF 文档的 DOCMASTER 统一平台，用于注释 PDF 文档、模型训练和推断，并支持隐私保护，可用于自然语言处理模型应用于 PDF 文档的训练和相关研究。

Mar, 2024

本研究介绍了 CSL，一个包含 39.6 万篇中国科技文献的大型数据集，为中国自然语言处理和监督学习提供了有意义的语料库和标注。同时，本研究还基于 CSL 提出了一个基准用于评估模型在科技领域任务中的表现，如摘要生成、关键词提取和文本分类，并分析已有 NLP 模型在这些任务上的表现，揭示了进行中文科技 NLP 任务所面临的挑战。

Sep, 2022

CCS Explorer 是一个端到端的系统，可从 CCS 中提取相关信息以总结文章，以生物 BERT 为基础的句子相关性预测可达到 80.2％召回率和 0.843 的 AUC-ROC，以 PubMedBERT 为基础的患者，干预措施，结果检测的平均微 F1 分数为 77.8％，可节省近 660 倍的时间。

Nov, 2022

本文提出了一种新的 PDF 文档结构恢复方法，使用递归神经网络处理低级 PDF 数据表示，具有更高的准确性和更详细的文档结构分辨率，同时避免了数据量和计算成本问题，为信息检索提供了一种新思路。

Feb, 2021

开发了一种基于抽象的总结框架，适用于多个异构文档，该框架独立于标记数据。 与现有的多文件总结方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。 最后，我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体，其中每个文档组都包含大量且多样化的文档，以评估我们的模型与其他基线系统的性能。 我们的实验表明，我们的框架在这种更通用的情况下胜过了现有的最先进方法。

May, 2022

介绍了 DepCC，这是迄今为止最大的英文语言分析语料库，包括 365 万份文档，由 Common Crawl 项目的 2520 亿个符记和 75 亿个命名实体出现组成，可以通过一些应用程序使用，例如基于句法的词嵌入训练，信息提取和问题回答等。该语料库构建了所有句子及其语言元数据的索引，可以快速搜索整个语料库，并在动词相似性任务上证明了其效用，显示训练在我们此语料库上的分布模型比维基百科的小语料库上训练的模型的效果更好。该分布模型在 SimVerb3500 数据集上优于基于小语料库训练的动词相似性的最新模型。

Oct, 2017

通过大语言模型引导的数据收集方法 Query of CC，我们构建了高质量的知识数据集 Knowledge Pile，包括数学和知识相关推理能力测试，并开源了我们的数据集和代码，为学术界提供有价值的支持。

Jan, 2024

本篇研究主要探讨如何利用概念地图来对大型文档集合进行多文档摘要，并提出了通过众包方法创建包含概念地图的语料库，以便评估与进一步研究。

Apr, 2017