Sep, 2023

SPICED: 具有多个主题和复杂级别的新闻相似性检测数据集

PDF
TL;DR利用智能系统检测新闻文章中冗余信息的使用越来越普遍，而新闻媒体的激增为此提供了机会。然而，新闻的异质性可能导致这些系统产生虚假的发现。将新闻相似性数据集按主题分割能提高这些模型的训练效果，但目前缺乏主题特定的数据集。本文提出了一个新的相似新闻数据集 SPICED，包括犯罪与法律、文化与娱乐、灾害与事故、经济与商业、政治与冲突、科学与技术以及体育七个主题。此外，我们还提出了四种不同的方法用于生成新闻对，用于创建专门用于新闻相似性检测任务的数据集。我们使用 MinHash、BERT、SBERT 和 SimCSE 模型对创建的数据集进行了基准测试。
intelligent systemsnews articlesredundant informationtopic-specific datasetsnews similarity detection
发现论文，激发创造
  • 利用语义匹配的释义模拟科学交流中的信息变化

    本文章介绍了 SCIENTIFIC PARAPHRASE AND INFORMATION CHANGE DATASET (SPICED) 数据集，用于科学信息改变的简述和识别。目的是为了了解人们如何忠实地传达科学发现，项目中设计的模型能够在证据检索方面提高性能并揭示外界是否忠实地传递新的科学发现。

    Oct, 2022

  • 历史英语语义相似性巨大数据集

    该研究利用来自当地美国报纸的新数字化文章创建了一个巨大的语义相似性数据集，并利用深度神经方法检测了这些文章中的正面语义相似性对。该语义相似性数据集跨足了 70 年，包含近 400M 个正面语义相似性对，随着时间跨度的增加，将有助于将对比训练的语义相似性模型应用于各种任务。

    Jun, 2023

  • 新闻文章框架的多语言相似度数据集

    理解新闻文章的写作框架对解决社会问题至关重要，因此引起了通信研究领域的显着关注。我们介绍了一个扩展版的大型标记新闻文章数据集，包含 16,687 个新标记的配对。通过对新闻文章进行成对比较，我们的方法解放了传统新闻框架分析研究中手动识别框架类别的工作。该新闻文章相似性数据集是迄今为止最广泛的跨语言新闻文章数据集，涵盖 10 种语言、26,555 个标记的新闻文章配对。每个数据点根据详细的代码手册进行了细致的注释，采用人在循环框架下进行。应用示例展示了它在揭示全球新闻报道中的国家社群、揭示新闻媒体偏见以及定量化与新闻创作相关因素方面的潜力。我们预计这个新闻相似性数据集将扩宽我们对媒体生态系统的认识，包括对事件和观点在国家、地点、语言和其他社会构建中的新闻报道。通过这样做，它可以推动社会科学研究和应用方法的进步，对我们的社会产生深远影响。

    May, 2024

  • 新闻分类数据集

    本论文介绍了一份包含近 21 万篇新闻头条的数据集，收集自 HuffPost，并探讨了该数据集在自然语言处理领域的现有和潜在应用，这对于学习真实新闻的语法和语义至关重要，尤其在当前假新闻泛滥的背景下。

    Sep, 2022

  • 利用新闻标题研究新闻传播障碍的特征

    利用 COMET 推理模型和新闻标题的情感，通过采集和标记新闻标题的元数据来检测新闻传播中的文化、经济、政治、语言和地理障碍，并将提取到的语义知识和情感作为特征，相对于传统文本分类方法和深度学习可获得更好的表现（对于文化、经济、政治和地理的十个类别的平均 F1 - 分数分别从 0.41、0.39、0.59 和 0.59 提高至 0.47、0.55、0.70 和 0.76）。

    Apr, 2023

  • SPACE-IDEAS: 空间创新中重要信息检测数据集

    使用自然语言处理来检测文本中的显著部分已被广泛应用于减少信息溢出的影响。本研究介绍了一个用于检测与太空领域创新想法相关的显著信息的数据集 SPACE-IDEAS。SPACE-IDEAS 中的文本差异很大，包括非正式的、技术的、学术的和商业导向的写作风格。除了手动注释的数据集外，我们还发布了一个使用大型生成语言模型进行注释的扩展版本。我们训练了不同的句子和连续句子分类器，并展示了自动注释的数据集可以通过多任务学习来训练更好的分类器。

    Mar, 2024

  • 科学论文大型单主题文献库的交互式蒸馏

    利用机器学习技术构建针对科学文献的目标数据集工具，并通过主题建模进行文献综述，应用于机器学习领域。

    Sep, 2023

  • 学术复杂性转化为公众叙述：面向科学新闻报道生成的数据集

    科学新闻报道的自动生成提高了学术洞察的可访问性，本文通过对一组学术出版物与相应科学新闻报道的平行集合进行广泛分析，突出了两者在易读性和简洁性上的差异，并使用先进的文本生成模型对数据集进行了基准测试，为进一步探索科学新闻报道的自动生成奠定了基础。

    Mar, 2024

  • r/Fakeddit: 细粒度虚假新闻检测的新多模态基准数据集

    使用机器学习分类模型是打击假新闻传播的有效方法，但缺乏有效的全面数据集一直是假新闻研究和检测模型发展的问题。Fakeddit 是一个新颖的多模态数据集，包括一百万个多个类别的假新闻样本，并通过远程监督进行两种，三种和六种分类。我们构建了混合文本 + 图像模型并进行了多个变体的分类实验，证明了 Fakeddits 的多模式和精细分类的重要性。

    Nov, 2019

  • 基于多尺度图划分的内容驱动非监督式新闻文章聚类

    介绍了一种利用自然语言处理和图论工具结合的方法，通过向量表示和多尺度社团检测技术对文本进行分析和分类，得出了一组组具有相似内容的文档，揭示了主题和子主题的类层次结构。

    Aug, 2018