Nov, 2023

二值化三维全身人体网格恢复

PDF
TL;DR通过使用 Binarized Dual Residual Network (BiDRN) 量化方法，本文在资源有限的边缘设备上以 22.1% 的参数和 14.8% 的运算量实现了与全精度方法 Hand4Whole 相当的性能，且在 3D 全身人体网格恢复任务中显著提高了与最先进的二值化算法相比的效果。
3d whole-body human mesh recoverydeep learning modelsbinarized dual residual network (bidrn)edge devicesquantization method
发现论文，激发创造
  • BiHRNet：用于人体姿势估计的二进制高分辨率网络

    在本研究中，提出了一种名为 BiHRNet（Binary HRNet）的二值人体姿势估计器，该估计器在适应二值神经网络（BNN）的同时保留了 HRNet 的关键点提取能力，通过提出二值网络训练过程的优化方法以及设计更适合二值化的结构，实现了更少的计算资源开销和精度下降，并在实验中取得了较好的性能。

    Nov, 2023

  • 面向有限资源的二值化卷积关键点定位器用于人体姿态估计和面部对齐

    探讨神经网络二值化在人体姿态估计和面部对齐任务中的效果，提出了一种新的分层，平行和多尺度残差架构，该架构在性能方面具有显著改进，并在人体姿态估计和面部对齐任务中进行了实验，表现优异。

    Mar, 2017

  • 使用多阶段二分减速玻璃网络重建手部三维网格模型

    本文通过引入一个可学习的模型 BiHand，使用一种新颖的双向设计来进行 3D 手部估计和网格恢复，该模型可以在多项评估实验中展现出高准确度，对比现有的研究成果具有一定的优越性。

    Aug, 2020

  • 利用有限资源的分层二元卷积神经网络进行关键点定位

    本文提出了一种具有轻量、紧凑和适用于适用于计算资源有限应用的体系结构，并在人体姿势估计和面部对齐等定位任务上，详细研究了神经网络二值化的效果，提出了多种正交方法来提高性能，在此基础上，提出了一种新的分层、并行和多尺度残差架构，同时具有与标准瓶颈块相同数量的参数，从而填补了原始网络与其二值化对应物之间的差距，大幅提高了性能，并在人体姿势估计和面部对齐等最具挑战性的数据集上获得了最前沿的表现，同时探究了其性质与性能，并支持关于面部部分分割的其他结果。

    Aug, 2018

  • 用于人体姿态估计和图像识别的二进制网络的改进训练

    本篇论文提出一系列工程技术来改善二值化神经网络的准确性，包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等，并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外，还首次探讨了二值化神经网络和知识蒸馏相结合的效果。

    Apr, 2019

  • LCR-Net++：自然图像中多人 2D 和 3D 姿态检测

    本文提出了一种 LCR-Net 架构，包括姿态候选生成器、姿态候选分类器和姿态回归器，可以同时预测多个人的 2D 和 3D 姿态，并且不需要初始人类本地化。该方法在姿态估计的表现上显著优于现有技术，特别是具有局部遮挡或图像边界截断的人体部分的情况。

    Mar, 2018

  • 使用大型重建模型进行单视角三维人体数字化

    利用 Human-LRM 模型，我们可以从一张单一图像中预测人类神经辐射场。通过使用包含 3D 扫描和多视角捕获的大型数据集进行训练，我们的方法展现出了惊人的适应性。此外，为了增强模型在野外场景（尤其是存在遮挡情况下）中的适用性，我们提出了一种将多视角重建转化为单视角的新策略，即条件三平面扩散模型。这个生成式扩展方法解决了从单个视角观察时人体形状的固有变化，并使得从遮挡图像中重建完整的人体成为可能。通过大量实验证明，Human-LRM 在多个基准测试中显著超越了以往的方法。

    Jan, 2024

  • 使用网格卷积进行单张图片的三维手部重建

    使用非线性潜在网格表示的手部形状和关节姿态，在照片上进行单目 3D 重建，该模型具有实时性能。

    May, 2019

  • 单目 RGB 相机空间下的三维手部网格恢复

    利用虚拟现实、增强现实和手势控制等技术的快速发展，用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型，可从单目 RGB 图像中恢复相机空间中的 3D 手部网格，以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估，我们证明了我们提出的模型与最先进的模型具有可比性，为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。

    May, 2024

  • 人体形状和姿势的端到端恢复

    本文提出了一种名为 HMR 的端到端框架，可从单个 RGB 图像恢复人体的完整 3D 网格，通过优化关键点的后投影损失来训练模型，并使用对抗神经网络解决了模型参数欠约束的问题，最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。

    Dec, 2017