May, 2024

ViWikiFC: 基于越南维基百科的文本知识事实核查源

PDF
TL;DR通过构建 ViWikiFC，我们首次为越南维基百科建立了一个手动注释的开放领域语料库，其中收录了超过 20K 个索证句，经由从维基百科文章提取的证据句生成。我们分析了我们的语料库的各个语言方面，包括新的依赖率、新的 n-gram 率和新的词汇率。我们进行了各种越南事实核查的实验，包括证据检索和判断预测。BM25 和 InfoXLM（Large）在两个任务中取得了最佳结果，其中 BM25 在证据检索任务中的 SUPPORTS 准确率为 88.30%，REFUTES 准确率为 86.93%，NEI 标签仅为 56.67%；InfoXLM（Large）在检索任务中取得了 86.51% 的 F1 分数。此外，我们还进行了一种流水线方法，但只有在使用 InfoXLM（Large）和 BM25 时，严格准确率达到了 67.00%。这些结果证明了我们的数据集对于越南语言模型在事实核查任务中是具有挑战性的。
fact-checkingmisinformationvietnamesecorpusverdict prediction
发现论文，激发创造
  • X-FACT：一个新的用于多语言事实检查的基准数据集

    本研究介绍了 X-FACT 数据集，这是目前最大的公开的多语言事实验证数据集，其中包含 25 种语言的短语句，并由专业事实检查者标记真实性，数据集包含多语言评估基准测试，并使用现代化的多语言变压器模型开发了多个自动事实检查模型，实证表明模型的最佳性能 F1 分数约为 40％，因此是评估多语言事实检查模型的挑战性基准测试。

    Jun, 2021

  • 用跨语言检索方法提升跨语言事实核查

    为了解决低资源语言事实核查数据集的缺乏问题，我们提出了一种跨语言检索的事实核查框架，该框架利用我们提出的自监督算法，使用翻译的文章标题来创建训练实例，并在多种语言下实现证据的汇集。在 X-Fact 数据集上，我们的方法在零 - shot 跨语言设置下，在绝对 F1 上获得了 2.23% 的改进。

    Sep, 2022

  • RU22Fact：俄乌冲突国际化可解释事实核查的证据优化

    基于大型语言模型，从网络中自动检索和总结证据，以解决可解释的事实检查系统中提供足够和相关证据的挑战，并通过 RU22Fact 构建一个新颖的多语言可解释的事实检查数据集，基于该数据集开发出了一个端到端的可解释的事实检查系统，实验结果表明优化的证据可以提高事实检查性能，并显示端到端声明验证和解释生成任务有进一步进展的可能性。

    Mar, 2024

  • 多语种事实核查索引检索

    本论文提出了一个新的多语言数据集 MultiClaim，其中包含 28k 个社交媒体帖子和 206k 个来自专业事实核查人员写的 39 种语言的事实核查。我们评估了不同的非监督方法在这个数据集上的效果，并显示对这样一个多样化的数据集进行评估具有复杂性，需要在解释结果之前采取适当的措施。我们还评估了一种监督微调方法，显著提高了非监督方法的性能。

    May, 2023

  • 使用 CsFEVER 和 CTKFacts 获取捷克数据进行事实验证

    本文介绍了获取捷克语数据进行自动事实核查的方法，其中提出了一种混合机器翻译和文档对齐的方法来生成一个基于 Wikipedia 的大规模 FEVER 数据集的捷克语版本，以及一种可靠应用于自然语言推理任务的 CsFEVER-NLI 版本。同时，还介绍了使用捷克新闻机构语料库对一些数据进行扩展注释，以及该数据集的基线模型和注释平台等实验数据。

    Jan, 2022

  • 开放领域科学主张验证的知识源对比

    本研究通过一系列实验测试了开放领域的声明验证系统的性能，在不同设置下使用三个常见知识来源（PubMed、Wikipedia、Google）和两种不同的信息检索技术，对四个生物医学和健康声明的最终预测进行了测试。结果显示，对于专门的生物医学声明，PubMed 表现更好，而对于日常健康问题，Wikipedia 更适合；而在检索精度方面，BM25 表现出色，而在相关证据的回收方面，语义搜索更具优势。在讨论结果、概述频繁的检索模式和挑战，并提供有前途的未来方向。

    Feb, 2024

  • 提供更多细节：利用潜在检索改进事实核查

    该研究旨在改善自动事实核查系统，并尝试将原始文档的全文作为证据，并引入了两个丰富的数据集。实验证明，即使没有标注黄金证据句子，包括原始文档在内的证据可以提供足够的上下文线索，该系统能够在不同的设置下显著提高最佳报告模型的精度。

    May, 2023

  • 利用外部来源实现全自动事实核查

    提出了一种使用外部来源进行全自动事实核查的通用框架，该框架利用深度神经网络和 LSTM 文本编码结合任务特定的嵌入来判断声称的真实性，并将来自 Web 的相关文本片段融合其中，考虑其来源可靠性，在两个任务和数据集上均表现不错。

    Oct, 2017

  • 我们需要专门的事实核实模型吗？以中文为例

    本研究调查了语言特定的事实核查模型的潜在益处，重点关注汉语的情况。我们通过翻译中文声明和证据成英文，或直接使用多语言大型语言模型（如 GPT4）的方法的限制，强调了需要语言特定系统的必要性。我们进一步发展了一种最先进的汉语事实核查系统，与之前将证据选择视为成对句子分类任务的方法相反，该系统考虑了句子的上下文。我们还创建了一个对抗性数据集来识别模型中的偏见，虽然这种偏见与英文语言数据集和模型中的偏见相似，但通常特定于中国文化。我们的研究强调了语言特定的事实核查模型对有效打击虚假信息的重要性。

    Jan, 2024

  • 评估生成文本的事实准确性

    该研究提出了一种基于模型的度量标准，用于评估生成的文本的事实准确性，并引入了一个新的基于维基百科和维基数据的大规模数据集来训练关系分类器和端到端事实提取模型。通过在维基百科文本摘要任务中分析多个模型的准确性并进行人类评估研究，论文展示了这些方法相对于 ROUGE 和其他无模型变量的方法的功效。

    May, 2019