Apr, 2024

手语深度伪造的生成与检测 —— 语言和视觉分析

PDF
TL;DR利用深度伪造技术生成上半身的虚拟形象，配合手语并由专家审核，为聋哑人士群体带来积极应用的研究。通过构建可靠的深度伪造数据集，评估其技术和视觉可信度，并评估生成内容的可信度。该研究对健康和教育领域具有潜在益处，并可用于检测可能针对特定群体的伪造视频。
deepfake technologyupper body generationsign languagedeaf and hard of hearingreliable deepfake dataset
发现论文，激发创造
  • 基于深度学习的手语识别方法综述

    通过实验评估了基于计算机视觉的手语识别方法，并引入了新的序列训练标准，讨论了许多预训练方案，并创建了带注释的希腊手语 RGB + D 数据集。

    Jul, 2020

  • 手语识别技术和算法的比较分析

    该研究比较了各种深度学习技术对手语的识别，旨在提供这一领域中最新方法和挑战的综合概述。

    May, 2023

  • DiffSLVA：利用扩散模型实现手语视频匿名化

    通过 DiffSLVA 方法，利用预训练的大规模扩散模型和低级图像特征来进行零样本文本引导的手语视频匿名化，解决了手势识别的复杂性和对数据集的依赖性的问题，实现了更好地保护原始签名者的重要语言内容。

    Nov, 2023

  • 现在每个人都签署：将口语语言翻译为逼真的手语视频

    引入了 SignGAN 来通过运用 Mixture Density Network (MDN) 的 transformer 架构，提出了一个新颖的基于关键点的损失函数，实现了从口语翻译成骨骼姿势，再生成连续的手势语视频。使用 8 个手语翻译者的数据集，证明了该方法在定性和定量上均优于基线方法。

    Nov, 2020

  • 一个实时的人工智能学习手语的系统

    开发一种基于人工智能的成本效益高、资源高效和开放的技术，旨在帮助人们学习和使用手语进行交流，以促进社会的包容性。该研究分析了基于人工智能的手语解决方案，特别聚焦美国手语，取得了令人满意的初步结果，并为进一步发展奠定了基础。

    Feb, 2024

  • 探测 DeepFake 视频中的行为特征

    通过比较不同来源的合成视频，本研究发现合成视频在视觉和互动方面与原始视频相比都存在差异，这表明行为特征可以用于识别深度伪造视频。

    Aug, 2022

  • 利用语言先验从视频中重建签名化身

    通过引入具有普遍适用性的新颖语言学先验，SGNify 可以从现场 SL 视频中全自动捕获手势、面部表情和身体动作，从而在学习 SL 时取代视频字典的 3D avatar 可以提高对技术和在线媒体的获取能力和 AR/VR 应用，并在 SL 视频上优于现有 3D 身体姿势和形状估计方法。

    Apr, 2023

  • 使用 Mediapipe Holistic 的印度手语识别

    通过使用卷积神经网络和 LSTM 模型进行手势和静态手语识别，研究开发了一种印度手语转换为文本或语音的文本 - 手语翻译模型，可以帮助聋人和听障人士在社交、教育和职业场境中进行更准确的交流。

    Apr, 2023

  • 探索基于生成式人工智能的辅助技术在自闭症人士中的前景

    本文旨在探讨将深度伪造（Deepfakes）技术作为一种辅助技术所具有的潜力，研究了 Nvdia 的新视频会议功能在自闭症患者中的应用可能性，提出了深度伪造技术为人机交互（HCI）带来的影响，并提出了需要进一步调查的开放性问题。

    May, 2023

  • 基于图像的印度手语识别：使用深度神经网络的实用综述

    该研究旨在利用计算机视觉技术和卷积神经网络，开发一种实时、基于印度手语的手语识别系统，以帮助印度的聋人和听力有障碍的人群。经过多次处理和训练，该模型的准确率达到了 99%。

    Apr, 2023