facial movements | BriefGPT

关键词facial movements

搜索结果 - 11

Hallo: 分层音频驱动的肖像图像动画综合
通过采用扩散法为基础的方法框架，该研究提出了一种音频驱动下的肖像图像动画技术，通过引入层次化的音频驱动视觉合成模块，实现了更准确的音频输入与视觉输出的对齐，包括嘴唇、表情和姿势的动作，并通过定性和定量分析进行综合评估。
PDF23 days ago
层次化时空注意力在微表情识别中的应用
提出了一种基于 Hierarchical Space-Time Attention (HSTA) 的微表情识别方法，通过建立微表情视频帧与特定面部区域之间的联系以及跨模态数据的融合，实现了对微小的面部动作和情感的识别和分析。
PDF2 months ago
EMO: 表情肖像的生命之躍 - 在弱條件下使用 Audio2Video 擴散模型生成有表情的肖像視頻
在这项工作中，我们通过关注音频线索和面部动作之间的动态和微妙关系，解决了提高说话视频生成中的真实感和表现力的挑战。我们确定了传统技术的局限性，常常无法捕捉到人类表情的全谱和个体面部风格的独特性。为了解决这些问题，我们提出了 EMO，这是一个
PDF4 months ago
AgentAvatar: 解耦规划、驾驶和渲染以实现逼真的虚拟人物代理
我们的研究目标是创建可以自主规划和模拟细致逼真的面部动作的交互式化身代理机器人，从视觉和行为角度进行研究。我们的研究通过将大规模语言模型应用到化身代理机器人面部动作描述生成中，再通过神经渲染器生成最终逼真的化身动画，并经过实验证实了这一方法
PDF7 months ago
TalkNCE：利用 Talk-Aware 对比学习改进主动说话者检测
通过探索网络架构，以及使用自然语音与面部动作之间的对应进行学习，我们提出了一种新颖的 TalkNCE 对比损失函数，可用于主动说话者检测任务，无需额外的监督或训练数据，可以与现有的主动说话者检测模型在 AVA-ActiveSpeaker 和
PDF10 months ago
MM基于语音的 3D 面部动画及复合和区域面部运动
通过在时域和空域中考虑面部运动的复合性和局部性，论文介绍了一种自适应调制模块来改善语音驱动的三维面部动画，并提出了一种非自回归骨干结构来翻译音频为三维面部动作，从而在定性和定量上优于当代最先进的方法。
PDFa year ago
CVPRMicron-BERT：基于 BERT 的面部微表情识别
本文提出了一种新的面部微表情识别方法 Micron-BERT，采用 Diagonal Micro-Attention 和 Patch of Interest 模块，在大规模无标注数据集上实现了高精度，并在 SAMM、CASME II、SMI
PDFa year ago
CVPR鲁棒单张音频到视频生成
本研究提出了一种名为 OneShotA2V 的新方法，该方法利用具有表现性面部组件的运动的课程学习，仅使用一个听觉信号和一个未见过的个人图像，生成任意长度的交谈人视频，实验评估表明该方法在多个量化指标上表现优越。
PDF4 years ago
通过自监督分离身份和姿势实现逼真的人脸复原
本文提出了一种新型的自我监督混合模型（DAE-GAN），它结合了两个形变自编码器及条件生成的最新进展，用于学习如何在大量未标记视频的情况下自然地再现人脸，并且在 VoxCeleb1 和 RaFD 数据集上得到了优秀的实验结果，表明了重新表演
PDF4 years ago
IJCAI面部表情和周边生理融合解码个体化情感体验
本文提出了一种多模态方法，结合分析面部运动和多个外部生理信号，通过考虑个体化休息动态来解码正负情感体验。通过构建人体特征循环网络，解码个体面部运动和生理数据的动态耦合关系，并在其基础上训练推理模型，将个体的情感体验进行预测和验证。
PDF6 years ago
ECCVReenactGAN: 基于边缘传递学习复制面部表情
提出了一种名为 ReenactGAN 的基于学习的框架，可从单眼视频输入转移人脸运动和表情到目标人物。此方法将源脸映射到边界潜空间，使用变形器进行调整，最终生成重现的目标面孔，这一过程可以在实时（30 FPS 的 GTX 1080 GPU
PDF6 years ago