Nov, 2023
RED-DOT: 多模态事实核查与相关证据检测
RED-DOT: Multimodal Fact-checking via Relevant Evidence Detection
Stefanos-Iordanis Papadopoulos, Christos Koutlis, Symeon Papadopoulos, Panagiotis C. Petrantonakis
TL;DR在线虚假信息多模态性质常常由文字和搭配的图像之间的误导性关联引起。为了支持事实核查过程，研究人员最近一直在开发能够收集和分析外部信息的自动多模态方法，即与正在研究的图像 - 文字对相关的证据。然而，之前的研究假设收集的所有证据都是相关的。本研究引入了一个 “相关证据检测”（RED）模块，用于判断每个证据是否相关，以支持或反驳主张。具体地，我们开发了 “相关证据检测有向变换器”（RED-DOT），并探索了多种架构变体（如单阶段或双阶段）和机制（如 “引导注意力”）。广泛的消融和比较实验证明，RED-DOT 在 VERITE 基准测试中相对于最先进的方法改进了高达 28.5%。此外，我们的证据重新排序和基于元素的模态融合使 RED-DOT 在 NewsCLIPings + 上达到了有竞争力甚至更好的性能，而无需大量证据或多个主干编码器。最后，我们的定性分析证明了提出的 “引导注意力” 模块有提高架构可解释性的潜力。我们在此 https URL 上发布了我们的代码。