使用 Wikipedia 自动产生问题 - 答案对,生成不同类型的声明的 QACG 框架可以训练一个强健的事实验证模型,实验结果表明,在零样本情况下,QACG 能够将 RoBERTa 模型的 F1 从 50%提高到 77%,并且等效于 2000 多个手动筛选的例子。
May, 2021
我们提出了针对事实检查领域的常见问题的改进算法,包括对传统的 retriever-reader 模型的性能下降问题的改进,以及对 reader 组件的改进,通过对 claims 和 evidence documents 的无序性进行训练,从而提高对分布偏移的鲁棒性。此外,我们还提出了一种自动方法来构建多主题事实检查数据集,并将我们的模型与一组强大的基准模型进行比较。
Mar, 2024
该篇论文回顾了涉及自动事实检查的相关研究,包括索取检测和索求验证组件,并探讨了自然语言处理,自动化事实检查的数据集以及提出的各种 NLP 方法在该领域发展方面所做的贡献。
Sep, 2021
本论文提出了一个新的多语言数据集 MultiClaim,其中包含 28k 个社交媒体帖子和 206k 个来自专业事实核查人员写的 39 种语言的事实核查。我们评估了不同的非监督方法在这个数据集上的效果,并显示对这样一个多样化的数据集进行评估具有复杂性,需要在解释结果之前采取适当的措施。我们还评估了一种监督微调方法,显著提高了非监督方法的性能。
May, 2023
通过使用 FACT-GPT 框架,我们介绍了一种自动化事实核查的方法,该方法利用大型语言模型 (LLMs) 的主张匹配阶段来识别新的社交媒体内容,无论是支持还是反驳之前被事实核查人员驳斥的主张。研究结果表明,我们的精细调节的 LLMs 在主张匹配任务中与更大型的预训练 LLMs 的性能相媲美,与人工标注结果密切一致。
Oct, 2023
本文综述了基于自然语言处理的自动事实核查技术及其在相关学科里的应用。该技术使用自然语言处理、机器学习、知识表示和数据库等技术预测声称的可信度,同时介绍了现有数据集和模型,旨在统一各种定义并识别通用概念,最后提出了未来研究的挑战。
Aug, 2021
本文介绍了如何使用合成领域特定数据集来改进问答的性能,通过实验表明使用该方法 fine-tune 下游模型的表现得到了显著的提升。
Nov, 2022
通过 Factiverse AI 模型,在超过 100 种语言中进行端到端事实核查,并通过实验基准证明,针对事实核查任务进行细化调整的模型优于大型语言模型,如 GPT-4,GPT-3.5-Turbo 和 Mistral-7b。
Feb, 2024
本文探索了一种基于语言处理的自动新闻生成和事实核查系统,旨在提高新闻生产的效率和质量,同时确保新闻内容的真实性和可靠性。通过整合事实核查技术,该系统可以有效防止虚假新闻的传播,提高新闻的准确性和可信度,而自动新闻生成和事实核查所涉及的关键技术包括文本生成、信息提取和知识图谱的应用,并通过实验证实了这些技术的有效性。此外,本文讨论了自动新闻生成和事实核查系统的未来发展方向,强调了技术进一步整合和创新的重要性。研究结果表明,随着技术的不断优化和实际应用,这些系统在未来新闻行业中将发挥越来越重要的作用,提供更高效和可靠的新闻服务。
May, 2024
本研究介绍了 X-FACT 数据集,这是目前最大的公开的多语言事实验证数据集,其中包含 25 种语言的短语句,并由专业事实检查者标记真实性,数据集包含多语言评估基准测试,并使用现代化的多语言变压器模型开发了多个自动事实检查模型,实证表明模型的最佳性能 F1 分数约为 40%,因此是评估多语言事实检查模型的挑战性基准测试。
Jun, 2021