借助先进的人脸操作技术，本研究提出了一种新的适应性伪造感知 Transformer (FA-ViT) 来检测 Deepfakes，通过冻结预训练的 Transformer 参数并引入特定组件 (LFI 和 GFA) 来适应与伪造相关的知识，并利用单域成对学习 (SDPL) 以提高性能。实验证明，FA-ViT 在跨数据集评估和跨操作情景中具有最先进的性能，提高了对未知扰动的鲁棒性。

Sep, 2023

本文提出了第一种参数高效调节 deepfake 检测模型的方法 DeepFake-Adapter，该方法采用适配器模块从大型预训练 Vision Transformers 中提取高级语义，以有效且高效地帮助 deepfake 检测。通过在 MLP 层旁插入具有全局感知的 Englobed Adapters 和跨越 ViT 特征的局部感知的空间 Adapter，该方法可以将先前训练好的 Vision Transformers 的高级语义与本地和全局低级别伪造的 deepfake 数据的降噪信息相结合，从而提高 deepfake 的准确度和泛化能力。

Jun, 2023

通过引入细粒度提示和粗细联合训练框架，提出了一种名为视觉语言人脸伪造检测（VLFFD）的新范式，以解决针对深度伪造的检测模型缺乏语义信息和解释性的问题，并在多个具有挑战性的基准测试中证明了该方法对现有的检测模型有所改进。

Jul, 2023

本文提出了一种基于 Transformer 的框架，名为 Flexible Modal Vision Transformer (FM-ViT)，用于面部防欺骗，以灵活地针对任何单模态攻击情景和可用的多模态数据。实验结果表明，单个基于 FM-ViT 的模型不仅可以灵活评估不同的模态样本，而且在较小的 FLOPs 和模型参数的情况下，也可以超越现有的单模态框架，并与多模态框架的性能相当。

May, 2023

基于深度学习的视频暴力识别研究了准确且可扩展的人类暴力识别问题。本文提出了一种基于 Transformer 的新型专家混合 (MoE) 视频暴力识别系统，通过智能组合大型视觉 Transformer 和高效 Transformer 结构，系统不仅充分利用了视觉 Transformer 架构，还降低了使用大型视觉 Transformer 的成本。通过强化学习路由器，该架构最大化了暴力识别系统的准确性，并积极降低了计算成本。实证结果显示，在 RWF 数据集上，所提出的 MoE 架构相较于基于 CNN 的模型具有卓越的 92.4% 准确率。

Oct, 2023

本文提出一种自适应视觉变换器 (ViT) 方法，利用集成适配器模块和特征转换层适应不同域的数据，从而实现跨域活体检测，并在多个基准数据集上取得了与现有方法相媲美的性能.

Mar, 2022

该研究提出了 Edge-MoE 的解决方案，这是第一个针对 multi-task ViT 的端到端 FPGA 加速器，其创新包括 Novel Reordering Mechanism、Fast Single-Pass Softmax Approximation、Low-Cost GELU Approximation、Unified Computing Unit 和 Novel Patch Reordering Method。 较 GPU 和 CPU 相比，Edge-MoE 的能源效率分别提高了 2.24x 和 4.90x。

May, 2023

本文旨在解决视频深度伪造检测的问题，特别注重于面部深度伪造，他们利用效率较高的特征提取器与各种 Vision Transformer 结合进行实验，得出的最佳模型 AUC 为 0.951，F1 得分为 88.0％.

Jul, 2021

本文研究的问题是可广泛适用的合成图像检测，旨在检测来自各种生成方法，例如 GAN 和扩散模型的伪造图像。研究发现，传统的固定模式不利于学习伪造表示，因此提出了一种新颖的伪造感知自适应变压器方法，即 FatFormer。经过实验验证，FatFormer 在未见过的 GAN 和扩散模型上表现出色，检测性能平均达到 98% 和 95% 的准确率。

Dec, 2023

探索一种强大的问答系统的模型体系结构，其中使用了 Mixture-of-Experts 模型来训练具有更好鲁棒性的多任务学习器，该模型还使用了 DistilBERT 来生成问题向量；数据增强技术包括 Easy Data Augmentation (EDA) 和 back translation。通过这些方法，所提出的模型在严格的测试中实现了 53.477 F1 分数，比基线模型提高了 9.52％。该研究成功地证明了 Mixture-of-Expert 体系结构在 Robust QA 任务中的有效性。

Mar, 2022