采用多模态投票型方法，利用图像、声音和语言特征进行自动欺骗检测，实验结果表明该方法优于现有技术。

Jun, 2023

本文提出了一种简单却难以超越的多模态神经模型，通过结合来自不同模态的特征，例如视频、音频、文本和微表情，我们证明了在现实生活视频中检测欺骗可以更加准确。在真实生活欺骗视频数据集上的实验结果表明，我们的模型在欺骗检测方面的准确率达到了 96.14％，ROC-AUC 为 0.9799。

Mar, 2018

本文通过结合深度学习和判别模型提出了一种多模态方法用于自动检测欺诈，并且在五个数据集上进行了评估，结果表明基于面部表情的方法优于基于凝视和头部位置的方法，并且多模态方法与特征选择的结合可以提高检测性能。

Jul, 2023

提出一种针对真实法庭审判视频中隐蔽自动欺诈检测的系统，该系统利用从图像、声音和文本三个层面得到的低级和高级特征预测人类微表情，其中，IDT 特征 和 MFCC 特征也对系统性能提供了重要帮助，系统在经过交叉验证的数据集上的 AUC 为 0.877，优于现有接近最优的方法，同时也提供了一个用户研究，分析一般人在这个任务上的表现。

Dec, 2017

本文提出了一种基于学习的方法来检测真实和虚假的 deepfake 多媒体内容，通过提取和分析同一视频中两种音频和视觉模态之间的相似性，以及提取和比较情感线索来推断输入视频是 “真实” 还是 “虚假”，并提出了一种深度学习网络，同时利用音频和视频模态以及两种模态的感知情绪进行 deepfake 检测，实验结果表明，本文方法在 DeepFake-TIMIT 数据集和 DFDC 数据集上分别达到了 84.4％和 96.6％的 AUC，是首个同时利用音频和视觉模态以及两种模态的感知情绪进行 deepfake 检测的方法。

Mar, 2020

本文通过使用卷积神经网络改进面部描述符，并探索多种融合方法，建立并优化 CNN 架构，解决情感分类问题，获得了 2017 年 “Emotion in the Wild” 挑战赛第四名的准确性，达到了 58.8％。

Sep, 2017

本文介绍了一个基于多模态的情感估计框架，通过提取比赛数据集中的不同长度的视频的多模态特征，包括音频、姿态和图像，确定情感趋势。该系统在验证数据集中达到 0.361 的性能。

Mar, 2023

本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的预测精度高于视频特征。

Sep, 2019

本研究在 EmotiW Challenge 2023 中探索了符合隐私规范的野外群体情绪识别。提出的多模态模型通过视频和音频分支以及跨模态注意力实现，使用全局特征而避免使用个体特征，仅依靠分布在视频中的 5 个均匀帧即可达到相当高的准确率。

Dec, 2023

本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

Jul, 2017