基于证据的自动事实检查中的图像阅读和推理
通过引入 ChartCheck 数据集,该研究针对图表图像进行了事实核查,利用 1.7k 个现实世界图表和 10.5k 个人工编写的声明和解释,评估了最先进的模型,并在微调环境中实现了 73.9 的准确率,同时发现挑战模型的图表特征和推理类型。
Nov, 2023
本文调查了自动化事实核查并提出了一个多模式事实核查的框架,其中包含针对多模态误传播的子任务。研究重点在于文字、图像、音频和视频四种在实际事实核查中普遍存在的模态。调查了基准和模型,并讨论了未来研究的局限性和有前途的方向。
May, 2023
通过引入事实性错误的全面分类学,该研究分析各种图表字幕模型生成的错误模式和频率,从而为生成可靠的图表字幕确保事实性的任务奠定了基础。同时,提出了一种有效的两阶段框架来纠正这些错误,以及一种视觉蕴涵模型用于评估事实一致性。
Dec, 2023
我们提出了一种用于事实检查的新型基于异构图的模型,名为 HeterFC,它通过一个关系图神经网络进行信息传播,在声明和证据之间促进交互,并结合语言模型生成预测。我们引入了一个多任务损失函数来考虑证据检索的潜在不准确性。综合实验证明了 HeterFC 的有效性。
Feb, 2024
本文介绍 TabFact 数据集,其中包含 118k 人工标注的自然语言陈述,并以 16k 个 Wikipedia 表格作为证据,同时介绍了 Table-BERT 和 LPA,这两种算法都能在半结构化数据情况下进行事实验证,都有优点和不足之处,但是都能被进一步开发优化。
Sep, 2019
本研究提出了一种名为 VisualFactChecker(VFC)的自动图像描述方法,通过三个步骤,包括提案、验证和描述,生成高保真、详细的 2D 图像和 3D 物体描述,经综合评估得知 VFC 在多个指标上胜过其他开源的自动图像描述方法。
Apr, 2024
自动事实检查(AFC)引起越来越多研究者的关注,帮助事实核查者应对在线虚假信息的增加传播。为了解决数据的问题,作者提出了一个综合的证据验证和过滤方法,并创造了一个数据集来训练 “EVVER-Net” 以检测泄露和不可靠的证据。经过实验,该模型在短文和长文的检测中表现出了令人印象深刻的性能。
Apr, 2024
本文提出了一个大规模基准测试,包括 9.6K 个人为编写的问题和 23.1K 个由人类编写的图表摘要生成的问题,并运用两种基于 Transformer 的模型来回答问题,这些模型将图表的视觉特征和数据表统一起来处理来解决目标检测中的视觉和逻辑推理等问题。
Mar, 2022
为了解决现有视觉问答模型在图表问题上的不足,本研究通过行为分析,提出了三个简单的预训练任务以改进现有模型的结构 - 视觉知识和对数字问题的理解,将预训练模型(MatCha-v2)应用在三个图表数据集上,相比基准模型,性能平均提升了 1.7%。
Jun, 2024
本研究致力于解决社交媒体和 Web 网站中虚假声称的爆炸性增长所带来的手动事实检查的挑战。该研究新建了数据集并探讨了几种特征对声明、图片及二者之间的关系进行建模。最终评估结果显示与基线相比,取得了显著的进展,并发布了数据集以期推动该领域的进一步研究。
Aug, 2019