Apr, 2023

AutoSplice: 一份文本操作图像数据集，用于媒体取证

PDF
TL;DR本研究旨在调查语言 - 图像模型对媒体取证的挑战水平。为此，我们提出了一种新方法，利用 DALL-E2 语言 - 图像模型自动生成和拼接由文本提示引导的遮蔽区域，并生成包含 5,894 个经过操作和真实图像的新图像数据集 AutoSplice。利用该数据集进行图像篡改检测和定位实验，结果表明，大多数媒体取证模型难以识别 AutoSplice 数据集，但使用微调模型可以取得更好的效果。
发现论文，激发创造
  • 基于全新高效计算框架和新图像拼接数据集的有效图像取证

    提出了一种新颖的拼接检测数据集和轻量级的时域压缩拼接检测框架，该框架在拼接检测方面具有较高的准确性和较低的计算成本，并在提出的数据集和 CASIA v2.0 数据集上取得了优于现有方法的最佳模型准确率为 0.9382。

    Jan, 2024

  • 通过学习自一致性进行图像拼接检测以对抗假新闻

    我们提出了一种使用实际照片训练的学习算法，利用自动记录的照片 EXIF 元数据作为监督信号来检测视觉图像操纵，较于传统方法具有更好的性能，此方法可以被用于图像拼接定位和图像取证方面。

    May, 2018

  • SpliceRadar: 一种用于盲目图像取证的学习方法

    本文提出了一种基于深度学习的图像拼接定位方法，它可以在不需要测试图像的相机型号先验知识的情况下定位拼接区域，并在大规模未被篡改的相机标记图像数据库上进行训练。在三个测试数据库上的实验结果表明，该方法在现有最先进技术水平的基础之上具有相当的效果和良好的泛化能力。

    Jun, 2019

  • GreatSplicing：一个语义丰富的拼接数据集

    提出了一个由 5000 个图像组成且包含 335 个不同语义类别的手动创建的剪贴数据集 GreatSplicing，通过该数据集训练的模型表现出最小的误识率和优于现有数据集的跨数据集检测能力。

    Oct, 2023

  • 深度学习融合技术中的对手攻击

    本文通过构建一个新的算法实现了对基于深度学习的三种拼接定位工具（EXIF-SC、SpliceRadar、Noiseprint）进行对抗样本攻击的可行性，并发现这些攻击是具备可迁移性的，可以降低它们的定位性能。

    Apr, 2020

  • NewsCLIPpings: 自动生成多模态媒体的脱离上下文内容

    提出了一个自动检测图像和文本不一致性的数据集，并在其基础上测试了几种多模态模型的性能，这对于解决在线虚假信息问题和对抗深度伪造等具有重要意义。

    Apr, 2021

  • SpaText: 控制型图像生成的空间文本表示

    该论文提出了一种使用开放词汇场景控制的文本到图像生成方法 SpaText，基于 CLIP 的空间 - 文本表示方法，通过支持自由形式的自然语言描述的感兴趣区域的分割图来控制场景的布局和不同区域对象的形状。此外，该论文还提供了几种自动评估指标，并使用它们以及 FID 指标和用户研究来评估其方法，在具有自由形式文本场景控制的图像生成方面实现了最先进的结果。

    Nov, 2022

  • 一种用于图像拼接定位的多流融合网络

    本文提出了一种多流网络架构，该架构使用编码器 - 解码器架构，由多个编码器流组成，分别处理篡改图像或手工制作的信号，从而独立地捕获每个信号的相关信息，并在架构的瓶颈处融合多个流的特征，并传播到生成输出定位图的解码器网络，以解决图像拼接定位问题，并在公共取证数据集上取得了具有竞争性的性能和最先进的结果。

    Dec, 2022

  • 朝着真实文本操纵检测的目标：新数据集和新解决方案

    为了解决合成篡改无法充分复制真实世界篡改属性的问题，我们提出了一个 RTM 数据集，包含 14250 个文本图像，其中包括 5986 个手动和 5258 个自动篡改的图像，使用各种技术创建，同时还包括 3006 个未更改的文本图像，用于评估解决方案的稳定性。我们的评估表明现有的方法在 RTM 数据集上的文本伪造检测方面存在问题。我们提出了一个强大的基线解决方案，它采用一个一致性感知的聚合中心和一个门控交叉邻域注意融合模块用于高效的多模态信息融合，并在训练过程中采用一个被篡改 - 真实对比学习模块，丰富特征表示的差异。这个框架可以扩展到其他双流体系结构，对手动和总体篡改的定位性能分别提高了 7.33% 和 6.38%。我们的贡献旨在推动现实世界文本篡改检测的进展。代码和数据集将在此 https 网址上提供。

    Dec, 2023

  • 基于自然图像统计特征的拼接图像检测算法研究

    基于自然图像的统计特征，本文介绍了一种用于提高图像篡改检测精确度和效率的新的拼接图像检测算法，该算法通过整合先进的统计分析技术和机器学习方法构建了一个检测框架，并在多个公共数据集上进行了验证，显示出在检测拼接边缘和定位篡改区域方面具有高准确性和良好鲁棒性，此外，还探讨了算法在实际场景中的潜在应用和面临的挑战。此研究不仅为图像篡改检测领域提供了一种有效的技术手段，而且为未来相关研究提供了新的思路和方法。

    Apr, 2024