MMAug, 2018

GestureGAN 在野外手势翻译中的应用

PDF
TL;DR提出了一种新的手势生成对抗网络 (GestureGAN) ，通过显式地利用手部骨骼信息和两个新的 loss 函数：color loss 和 cycle-consistency loss 来实现手势翻译任务。在两个广泛使用的基准数据集上进行的大量实验表明，提出的 GestureGAN 在非约束性手势翻译任务中实现了最先进的性能，并生成高质量、逼真的图像，可用作改进手势分类器性能的数据增强。
hand gesturegesture translationgenerative adversarial networkcolor lossfrechet resnet distance
发现论文，激发创造
  • H-GAN: 手中的 GAN 力量

    本论文提出 HandGAN，一种采用多尺度感知判别器的循环一致性对抗性学习方法，旨在将合成的手部图像转换为真实领域中的图像，从而提高人工合成手部图像的逼真程度。

    Mar, 2021

  • 可控图像翻译的统一生成对抗网络

    该研究提出了一种基于生成对抗网络的统一方法，实现可以由可控的结构来指导的多种图像转换任务，包括手势转换和跨视角图像转换，其性能显著优于其他基于深度学习的方法

    Dec, 2019

  • 单目 RGB 实时三维手部跟踪的 GAN 生成手部

    本研究介绍了一种基于单目 RGB 彩色序列的实时 3D 手部追踪的方法，其结合了卷积神经网络和运动学 3D 手模型，提出了一种基于几何一致的图像到图像翻译网络的新方法来合成训练数据，并在拥有遮挡和不同相机视角的情况下进行了实验，该方法在 RGB 序列跟踪中优于当前最先进的技术。

    Dec, 2017

  • 使用生成对抗网络改进手势数据的新颖性检测

    利用生成对抗网络方法训练的人工神经网络对无法识别的手势进行分类，旨在提高手势分类准确率和新手势的识别率。经测试，该方法会导致一些已知手势分类不正确，但这种方式已经可以在训练准确率损失 5% 的代价下取得 95.4% 或 90.2% 的新手势检测率。

    Apr, 2023

  • 手写文字生成对抗网络

    本文提出一种手写生成对抗网络框架 (HWGANs)，通过使用 CNN-LSTM 和隐变量生成模型可实现有效地生成手写序列数据，并且与传统手写生成器相比，可以生成更自然更逼真的手写文本。

    Jul, 2019

  • 实时手势识别：骨骼数据融合和多流 CNN 的整合

    本研究聚焦于手势识别，通过数据级融合和多流卷积神经网络架构的集成调节器，有效地解决了人手形态中的个体差异问题，将骨骼模式的时空手势信息编码到 RGB 图像中，从而提高了姿势理解的语义并降低了噪声，其在 SHREC2017、DHG1428、FPHA、LMDHG 和 CNR 等基准数据集上实现了实时运行，大幅减少硬件需求和计算复杂性，为资源受限设备的人机交互和环境智能提供了可靠性和创新性。

    Jun, 2024

  • 生成模型的带注释手部数据

    通过在训练图像中增加三个额外通道，我们提出了一种新的生成模型训练框架，大大提高了生成模型创建手图像的能力。我们通过在合成手图像数据集和包含手部的真实照片上展示了这种方法，并通过使用现成的手部检测器对指关节识别的置信度提高来衡量生成手部图像的质量改进。

    Jan, 2024

  • 周期内总生成：循环生成对抗网络用于生成人脸、手、身体和自然场景

    提出了一种基于循环的生成对抗网络模型 (C2GAN)，通过交互式方式联合分析输入图像和引导数据，实现了人脸、手、身体和自然场景的图像生成，通过循环子网实现输入域的重构，同时生成另一个循环所需要的有用输出，实现了跨模态信息的相互补充，并具有更为鲁棒优化的功能。

    Jun, 2021

  • HGR-Net：一种用于手势分割和识别的融合网络

    HGR-Net 是一个使用两个 CNN 阶段的手势识别模型。第一阶段执行精确的语义分割以确定手部区域，第二阶段在深度表示的融合分类之前识别手势。通过在公共数据集上进行的大量实验，该模型在静态手势的分割和识别方面几乎达到了与最先进性能相当的效果。

    Jun, 2018

  • 基于序列条件的手写文本图像对抗生成

    该研究提出了一种基于生成对抗网络的系统，可以合成手写单词的合成图像，并在将其与现有训练数据集集成后通过改进通用 GAN 体系结构进行离线手写文本识别。

    Mar, 2019