本文介绍了一种简单、快速、有效的神经网络网页抓取器（NeuScraper），用于从网页中提取主要和干净的文本内容，并通过实验结果显示 NeuScraper 相比基线抓取器的改进超过了 20%，展示了其在提取高质量数据以促进语言模型预训练方面的潜力。

Feb, 2024

该论文介绍了一种几乎没有人为干预的流程，用于抓取和检测大学报纸档案中的偏见。该论文介绍了一种框架，用于从自动化工具无法获取数据的复杂档案网站中进行抓取，并生成了 14 份学生论文的数据集，总共含有 23,154 个条目。该数据还可以通过关键词查询，通过比较大型语言模型摘要和原始文章的情绪来计算偏见。该方法具有较少的比较性，比重建偏见更少地需要有标签的数据。结果基于具有政治色彩的词汇以及控制词汇来计算，以展示如何得出结论。这种完整的方法有助于从学生报纸来源中提取细微的见解，且假设和分类最少，为更客观地理解偏见铺平了道路。

Sep, 2023

本研究论文针对新闻文本自动摘要的抽取和生成方法进行了广泛的比较评估，重点分析了 ROUGE 分数。研究使用 CNN-Daily Mail 数据集，包括新闻文章和人工生成的参考摘要。通过 ROUGE 分数评估生成摘要的效果和质量，再将表现最佳的模型整合到 Web 应用程序中，评估其在真实世界中的能力和用户体验。

Oct, 2023

开发了一种基于抽象的总结框架，适用于多个异构文档，该框架独立于标记数据。 与现有的多文件总结方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。 最后，我们基于 CNN / Daily Mail 和 NewsRoom 数据集构建了总共十二个数据集变体，其中每个文档组都包含大量且多样化的文档，以评估我们的模型与其他基线系统的性能。 我们的实验表明，我们的框架在这种更通用的情况下胜过了现有的最先进方法。

May, 2022

利用搜索和社交媒体元数据，我们构建了 1.3 百万篇文章及其摘要的 NEWSROOM 数据集，包含不同风格的抽象和抽取策略，为评估该数据集的效用和挑战，我们对该数据集进行了分析和训练现有方法。

Apr, 2018

用深度学习方法从报纸图像中提取全文文章，以构建高质量数据集供大型语言模型预训练，达到对历史英语和历史世界知识有更好理解的目的。

Aug, 2023

本文介绍了基于 CNN/Dailymail 数据集构建的首个主题摘要语料库 NEWTS，用于支持主题摘要任务，可以评估不同提示方法的效果。

May, 2022

本文介绍了一种信息提取工具，可以自动处理大规模无结构文本数据，支持多语言文档的全文、元数据和实体的提取，重点支持三个主要因素以服务于跨国界新闻调查，最终实现了数据集的快速探索以及潜在故事的挖掘。

Sep, 2018

本研究旨在解决手动搜索投标通知的繁琐任务。使用 Python 的 Selenium 库下载报纸，然后使用神经网络自动提取招标通知。研究采用了不同 CNN 架构（ResNet、GoogleNet 和 Xception），并实现了最佳性能模型。最后，提取的通知被发布在网站上，方便用户访问。该项目对于建筑公司和承包商具有重要应用，确保质量和效率，对于竞争性招标及其系统化管理领域具有广泛应用。

Dec, 2023

科学新闻报道的自动生成提高了学术洞察的可访问性，本文通过对一组学术出版物与相应科学新闻报道的平行集合进行广泛分析，突出了两者在易读性和简洁性上的差异，并使用先进的文本生成模型对数据集进行了基准测试，为进一步探索科学新闻报道的自动生成奠定了基础。

Mar, 2024