ECCVMar, 2022

变长人体动作生成的隐式神经表示

PDF
TL;DR本研究提出了一种基于变分隐式神经表示的行动条件人体动作生成方法，可通过变分形式生成变长人体动作序列，使用 Transformer 解码器的方法在生成真实且多样的动作序列方面胜过了先前的方法，甚至优于最先进的基于 Transformer 自编码器方法。
human motion generationimplicit neural representationsvariational formalismvariable-length sequence generationtransformer decoder
发现论文，激发创造
  • 递归变压器变分自编码器用于多动作运动合成

    通过 Recurrent Transformers 和条件变分自编码器的结合，我们提出了一种新的迭代式方法，能够高效地生成具有任意动作序列的人类运动序列。该方法在 PROX 和 Charades 数据集上得到了验证，表明它在 FID 得分和语义一致性指标方面显著优于现有的技术方法。

    Jun, 2022

  • 使用有条件解码器增强视频的神经表示

    通过引入条件解码器与熵最小化技术，该研究提出了一种通用增强框架，成功提升了隐式神经表示在视频存储与处理中的效果，并在多个基线模型上展现了优越的重建质量和收敛速度，为视频回归、修复和插值任务提供了一种强大的技术。

    Feb, 2024

  • 基于 Transformer VAE 的带动作条件的 3D 人类动作合成

    本文介绍了一种运用 VAE 和 Transformer-Based 架构实现人体运动序列的有条件生成，以及改进行为识别和降噪等两种应用。

    Apr, 2021

  • 面向多样化视频的可扩展神经表达

    该研究提出了一种新的神经表示框架 D-NeRV，旨在以更高效的方式对长时间或大量的不同内容的视频进行编码。使用这种方法，该方法的压缩结果大大超过了现有的 NeRV 和传统视频压缩技术，同时在相同的压缩率下，其在 UCF101 数据集上用作高效数据加载器时的准确度比 NeRV 提高了 3 至 10％。

    Mar, 2023

  • 具地区感知和可推广性的隐式神经表示

    提出了一种新的通用的内隐神经表示（INR）框架，结合了 transformer 编码器和可感知局部性的 INR 解码器，显著优于以往的通用的 INR，并验证了局部感知潜变量在图像生成等下游任务中的有效性。

    Oct, 2023

  • 隐式神经表示的无模态限制变分压缩

    介绍了一种基于内涵神经表征（INR）的模态不可知神经压缩算法，使用变分压缩的方法优化了 INR 的表征能力，其在多种模态的数据集中表现出色，且在 JPEG 2000、MP3 和 AVC/HEVC 编码技术等领域实现了优于其他 INR 技术的性能。

    Jan, 2023

  • 基于物理控制的通用人形动作表示

    我们提出了一种通用的运动表示方法，该方法涵盖了针对基于物理的人形控制的全面的运动技能范围。

    Oct, 2023

  • NERV++：一种增强的隐式神经视频表示方法

    通过引入神经代表视频的 NeRV++，作为 NeRV 解码器架构的一种增强改进方法，使用可分离卷积残差块（SCRBs）和双线性插值跳跃层等特性，大幅提高了 INR-based 视频编解码的效果和表示能力，实现了与自动编码器基于视频编码相竞争的结果，迈向了 INR-based 视频压缩研究的重大进展。

    Feb, 2024

  • 对抗生成连续图像

    本文提出了两个新的神经表示架构用于建立以 INR 为基础的图像解码器，并将其用于构建最先进的连续图像生成对抗网络（GAN）。此外，本文还探索了 INR 解码器的几个有趣性质，包括超分辨率、有意义的图像空间插值、低分辨率图像的加速推理、在图像边界之外推断的能力和强大的几何先验。

    Nov, 2020

  • 生物启发式的人类运动序列连续学习

    本文提出了一种基于生物学启发的有条件时间变分自编码器（BI-CTVAE）的模型，用于连续学习涉及时间序列的任务，特别是人类运动，最终将其应用于生成运动序列的连续学习中，并在人类运动数据集上进行测试，结果分类准确率为 78％，比不使用重放模型高 63％，仅比离线训练最先进的 GRU 模型低 5.4％。

    Nov, 2022