AAAIDec, 2022

细粒度捷克新闻文章数据集：信誉度分析的跨学科方法

PDF
TL;DR介绍 Verifee 数据集，其中分类了四种不同的新闻可信度等级，通过调整多种流行序列到序列语言模型，在信任度分类任务中达到了最佳的 F-1 得分 0.52，并通过开源数据集和注释方法有助于防止虚假报道和提高公众媒体素养。
verifee datasettrustworthiness annotationsjournalist conventionssequence-to-sequence language modelsmedia literacy
发现论文，激发创造
  • 使用 CsFEVER 和 CTKFacts 获取捷克数据进行事实验证

    本文介绍了获取捷克语数据进行自动事实核查的方法，其中提出了一种混合机器翻译和文档对齐的方法来生成一个基于 Wikipedia 的大规模 FEVER 数据集的捷克语版本，以及一种可靠应用于自然语言推理任务的 CsFEVER-NLI 版本。同时，还介绍了使用捷克新闻机构语料库对一些数据进行扩展注释，以及该数据集的基线模型和注释平台等实验数据。

    Jan, 2022

  • 跨语言主观性分类的捷克数据集

    本文介绍了一个由手动标注的 10k 个主观和客观的句子组成的新的捷克主观性数据集，用于评估多语言的预先训练模型在捷克语和英语之间转移知识的能力；并对五个预先训练的 BERT-like 模型进行了参数微调，得到了 93.56% 的准确性。然后，我们使用该数据集进行跨语言主观性分类的实验，并对跨语言和单语言结果以及多语言模型之间的知识转移能力进行了比较和讨论。

    Apr, 2022

  • Factify 2: 一份多模态假新闻和讽刺新闻数据集

    本研究提供 FACTIFY2 这一多模态事实核查数据集以及相关算法，并使用新数据源和添加讽刺文章来改进 FACTIFY1，FACTIFY2 具有 50,000 个新实例数据，包含支持、无证据和驳斥三个分类以及文本和视觉数据的三个子分类，使用基于 BERT 和 Vision Transformer 的基础模型的测试集 F1 分数为 65％。

    Apr, 2023

  • 用于分类捷克新闻文本的数据集和强大基准线

    通过 CZEch~NEws~Classification~dataset 对 Czech 自然语言处理进行评估，发现语言特定的预训练编码器分析优于可选的大规模生成语言模型，并定义了四个分类任务：新闻来源、新闻类别、作者性别推断和星期几。

    Jul, 2023

  • 寻找可信新闻

    本篇论文研究了如何在社交媒体中找出虚假新闻。作者提出了基于语言学、可信度、语义等各种特征来自动识别虚假新闻的方法，并使用三个不同的测试集测试了该方法，在高精度的情况下可以准确地区分真实新闻和虚假新闻。

    Nov, 2019

  • AVeriTeC：一份集合了网络证据的真实世界主张验证数据集

    本文介绍了一个新的数据集 AVeriTeC，包含 4,568 个来自 50 个不同机构的真实事实核查内容，每个内容都包含了来自在线可用资源的支持性证据和文本理由，以及多轮注释过程中的评审结果，提供了一个基于多个问题回答步骤的基线和模型评估，旨在弥补目前自动事实核查数据集的缺陷。

    May, 2023

  • 德国新闻文章中的引用归属数据集

    为分析包括在线新闻文章在内的丰富数据中的人类交流，有效提取说话者、言论内容、受众等是至关重要的。然而，缺乏在德语新闻文章中用于此任务的标注数据严重限制了可能系统的质量和可用性。为解决这一问题，我们提供了一个基于 WIKINEWS 的新的、可自由获取的、创作公共许可证的数据集，用于德语新闻文章中的引用归属。该数据集采用细粒度的注释架构，提供了经过策划的高质量注释，跨越 1000 个文档（250,000 个标记），使得数据集可以应用于多种下游任务。注释不仅指明了谁说了什么，还说明了如何、在什么上下文中以及面向谁的引用的类型。我们具体描述了注释架构，描述了数据集的创建过程，并提供了定量分析。此外，我们描述了适用的评估指标，应用了两个现有的引用归属系统，对它们的结果进行讨论来评估我们数据集的实用性，并概述了在下游任务中使用我们数据集的用例。

    Apr, 2024

  • POLygraph：波兰假新闻数据集

    该论文介绍了 POLygraph 数据集，这是一个在波兰进行假新闻检测的独特资源。该数据集包含两个部分：11,360 对新闻文章及相应标签的 “真假” 数据集，以及 5,082 篇新闻文章及相关推文的 “真假评论” 数据集。与现有数据集不同，POLygraph 涵盖了源自文献的多种方法，为假新闻检测提供了全面的资源。数据是通过专家和非专家标注人员的手动注释收集的。该项目还开发了一款使用先进机器学习技术分析数据并确定内容真实性的软件工具。该工具和数据集预计将惠及公共部门机构、出版商和事实核查组织等各种实体。进一步对数据集的研究将促进假新闻检测，可能在其他语言中推动类似模型的实施。该论文侧重于数据集的创建和组成，因此不包括对内容真实性分析软件工具的详细评估，该评估计划在项目的后期进行。

    Jul, 2024

  • NELA-GT-2018：一个用于误报研究的大型多标签新闻数据集

    本文介绍了一个包含 713k 个文章的数据集，从 194 个新闻和媒体来源中收集，包括主流、极端党派和阴谋论来源，并加入了来自 8 个不同评估网站的基础真实度评级，覆盖了多个真实度维度，包括可靠性、偏见、透明度、遵循新闻标准和消费者信任等。

    Apr, 2019

  • EUvsDisinfo: 检测新闻文章中亲克里姆林宫虚假信息的多语言数据集

    本研究介绍了 EUvsDisinfo，这是一个可信与虚假信息文章的多语种数据集，与亲克里姆林宫主题相关。该数据集直接来源于 EUvsDisinfo 项目专家撰写的辟谣文章。我们的数据集是迄今为止在文章数量和不同语言方面规模最大的资源。它还提供了最广泛的主题和时间覆盖范围。利用这个数据集，我们调查了亲克里姆林宫虚假信息在不同语言中的传播情况，揭示了针对特定虚假信息主题的语言特定模式。我们进一步分析了八年期间话题分布的演变，并注意到在 2022 年乌克兰全面入侵之前，虚假信息内容急剧增加。最后，我们展示了该数据集在多语言环境中训练模型以有效区分虚假信息和可信内容的适用性。

    Jun, 2024