本文提出了一种新的非侵入式、易于扩展的方法，用于从人脸视频中检测情感，该方法通过脸部流形检测精确定位视频中的人脸，并采用局部脸部流形嵌入创建用于测量微小肌肉运动的公共域，通过数字图像散斑相关和光流算法计算面部微动的模式，然后将相应的矢量场映射回原始空间，并叠加在视频的原始帧上。最终的结果包括关于肌肉运动方向的附加信息，并使用该方法训练了一个用于从视频中进行情感分类的最新网络 -- 帧关注网络（FAN），该方法成功地提高了情感检测的性能。

Nov, 2022

本文提出了一种基于神经渲染和基于 3D 面部表情建模的方法，支持语义视频操作，可以通过改变和控制面部表情实现交互式操作，实现了有希望的逼真效果，并且引入了用户友好的交互 AI 工具，可以处理关于特定部分的输入视频中期望的表情操作的可读的语义标签，并合成逼真的操作视频。

Nov, 2021

本文提出了一种多模态方法，结合分析面部运动和多个外部生理信号，通过考虑个体化休息动态来解码正负情感体验。通过构建人体特征循环网络，解码个体面部运动和生理数据的动态耦合关系，并在其基础上训练推理模型，将个体的情感体验进行预测和验证。

Nov, 2018

本研究旨在探究面部微表情作为软生物识别的有效性并提出一种深度学习的方法来提高其在人体识别方面的应用，实验结果显示该方法与现有的基准相比，可以显著提高识别准确性。

Jun, 2023

SecurePose 是一种开源软件，可以在临床环境中使用 iPad 记录的患者视频中实现可靠的人脸模糊和自动运动学特征提取，通过与六种现有方法的比较，在更短的时间内实现了自动脸部检测，并且十名经验丰富的研究人员证实了 SecurePose 的易用性和可靠性。

Feb, 2024

利用三维面部表面构建一个新颖的基于方向条件的面部纹理视频表示，改善现有基于视频的面部远程光电测量的方法对动态和自由主体运动的鲁棒性。通过在 MMPD 上进行交叉数据集测试，我们的方法在纯净数据集上训练的 PhysNet 模型基线的性能上取得了显著的 18.2% 的改进，突显了我们设计的视频表示的有效性和普适性。在所有测试的动态情景中，即使存在动态和自由主体运动，我们的方法在 MMPD 上得到了高达 29.6% 的显著性能改进。验证了通过对三维面部表面的建模来解释运动的优势，我们通过消融实验验证了我们设计决策的有效性和不同视频处理步骤的影响。我们的发现展示了在视频中利用三维面部表面作为解决动态和自由主体运动的一般策略的潜在优势。该代码可在链接处获得。

Apr, 2024

本研究提出了一种新的机器学习流程和网络接口，可对实时视频进行人姿态识别，检测特定健身运动并进行分类，主要贡献包括一种基于关键点和时间序列的轻量级分类方法和一个基于 Web 的软件应用程序，实时获取和可视化结果。

Mar, 2022

针对帕金森病患者的面部表情质量问题，本研究提出了一种新的基于地标引导的方法 QAFE-Net，通过结合时序地标热图和 RGB 数据来捕捉面部微小肌肉动作，并将其编码和映射到严重程度评分中，实验结果表明该方法在质量评估方面超过了同类作品，也在疼痛估计方面达到了较低的平均绝对误差。

Dec, 2023

面部表情与肌肉收缩相关，微表情识别中，肌肉运动通常是微妙的，对当前面部情感识别算法性能产生负面影响。本文提出了一种层次 Transformer 网络 (HTNet) 来识别关键的面部肌肉运动区域，通过局部时间特征和全局面部特征提取层组成。实验证明，该方法在四个公开的微表情数据集上优于以前的方法并提供了相关代码和模型。

Jul, 2023

基于参数化的三维面部表情表示，我们提出了一种新颖的面部表情转化框架（GaFET），该框架可以稳定地分解表情，并通过多级特征对齐变换器和基于 StyleGAN 的去表情模型解决了非几何面部细节特征和空间特征对齐的问题，进而实现了与当前最先进方法相比更高质量和更准确的面部表情转换结果，并且适用于各种姿势和复杂纹理。此外，我们的方法省略了视频或注释训练数据，使得使用和推广更加简单。

Aug, 2023