Jan, 2021
COSMOS: 自监督学习的趣味信息检测
COSMOS: Catching Out-of-Context Misinformation with Self-Supervised Learning
Shivangi Aneja, Chris Bregler, Matthias Nießner
TL;DR本篇研究旨在解决社交媒体上未经修饰的图像被嵌入错误语境中以误导群众的问题，通过借助图像与文本之间的信息协同作用，提出了一种利用自学习特性，通过选择性地将照片中的物体与文本描述对齐以实现快速准确判断图像和文本的整体匹配度来检测文本和图像配对情况的新方法。对于测试数据，本方法的误识别率为 15%。同时本文还提供了一个包括来自各类新闻网站、博客和社交媒体贴文的 20 万张图像和 45 万个文本描述的大型数据集。