检测和分割篡改人脸图片和视频的多任务学习

Jun, 2019

检测和分割篡改人脸图片和视频的多任务学习

Multi-task Learning For Detecting and Segmenting Manipulated Facial Images and Videos

Huy H. Nguyen, Fuming Fang, Junichi Yamagishi, Isao Echizen

TL;DR本文设计了一个使用多任务学习方法的卷积神经网络用于同时检测和定位查询的篡改图像和视频以及使用半监督学习方法来提高网络的泛化能力，实验表明该网络对面部重现攻击和面部交换攻击很有效，并能处理以前从未见过的攻击。

Abstract

Detecting manipulated images and videos is an important topic in digital media forensics. Most detection methods use binary classification to determine the probability of a query being manipulated. Another important topic is locating manipulated regions (i.e., performing segmentation),

manipulated images and videos digital media forensics convolutional neural network multi-task learning approach semi-supervised learning approach

发现论文，激发创造

关于数字人脸篡改的检测

利用注意机制改善学习到的特征图，提高二分类（真实脸或伪造脸）的准确性和可视化处理后的伪造部位，通过大规模数据库的实验，证明了注意机制在人脸伪造检测和定位的有效性。

Oct, 2019

基于 CNN 集合的视频人脸篡改检测

本文提出了一种使用 ensembles 方法来判断现代面部操作技术的视频序列的面部操作检测的解决方案，该方案使用了基于卷积神经网络的不同模型，并结合了 EfficientNetB4、注意力层和连体训练等不同概念，针对以上两个概念结合的模型，本文在两个公开数据集上测试得出了令人期待的结果。

Apr, 2020

面部篡改的深度检测

本文提出了一种基于深度学习的人脸操作检测方法，包括特征提取和二进制分类两个阶段，并采用三元组损失函数来更好地区分真实面孔和伪造面孔，实验结果表明该方法的性能大多数情况下优于现有技术。

Sep, 2020

MVSS-Net：用于图像篡改检测的多视角多尺度监督网络

本文介绍了一种新颖的多视角深度学习方法 MVSS-Net 和其增强版 MVSS-Net++，通过同时利用图像临界位置和输入图像的噪声视图进行特征学习，可实现对图像的普适性篡改检测，并通过实验显示表现优秀，且在 JPEG 压缩、高斯模糊和截屏重拍等情况下更具鲁棒性。

Dec, 2021

面部微表情伪造检测与分割的协同特征学习

本文提出了一种基于协同特征学习的方法，用于同时检测图像篡改和分割篡改组件，此方法可以更好地捕捉人脸区域的人工痕迹，并且在检测和分割方面均优于现有方法。

Apr, 2023

多视角多尺度监督图像篡改检测

本研究提出了一种新的网络 MVSS-Net，通过多视角特征学习和多尺度监督，从噪声分布和边界伪影等方面解决了图像操作检测中的敏感性和特异性问题，并在五个基准测试集上进行了广泛实验验证。

Apr, 2021

社交媒体时代图像篡改检测的有效性

本研究通过深度学习和基于学习的方法，对图像篡改检测进行了深入分析，在标准数据集上评估了它们的性能；提出一种新颖的基于深度学习的预处理技术，用于强调篡改区域中的异常，通过加强篡改区域中的异常，提高了不同检测算法的性能，降低了在非篡改区域中的误检率，最后提供一个开源的篡改检测工具包。

Apr, 2023

生成、分割与细化：通向通用操作分割

本研究提出一种图像生成过程来创建真实的操纵图像样本，从而解决当前缺乏标签数据的问题，该方法利用图像混合等传统工作并提出新型生成器，在训练中强制算法关注边界伪影，并取得了强有力的实验结果。

Nov, 2018

FaceForensics++: 检测篡改的面部图像学习

本文对当前合成图像生成和处理技术的发展进行了探讨，并提出了一个基于 DeepFakes，Face2Face，FaceSwap 和 NeuralTextures 的面部操作检测基准，包括超过 180 万个操纵图像的数据库，并通过数据驱动型假冒检测器的详尽分析证明了使用额外领域特定知识的方法能够显著提高假冒检测的准确性。

Jan, 2019

深度伪造检测中通过多任务学习探索普适性注意力

本研究探讨了多任务学习技术的各种方式，旨在将视频分类为原始或经过操纵的情况，以在深度伪造场景中达到广义性。我们在评估中使用的数据集是 FaceForensics++，其中包括通过四种不同技术进行操纵的 1000 个原始视频，共计 5000 个视频。我们对多任务学习和对比技术进行了大量实验，这些技术在文献中已经很好地研究了其广义性的好处。可以得出结论，所提出的检测模型具有较好的广义性，即与最先进的方法相比，能够准确地检测训练过程中未遇到的操纵方法。

Aug, 2023