Oct, 2023

MoConVQ：基于可扩展离散表示的统一物理运动控制

PDF
TL;DR利用可扩展的离散表示，我们提出了 MoConVQ，这是一个新颖的基于物理的运动控制统一框架，通过在大型无结构数据集上学习运动嵌入，实现了高效的运动表征，展示其对各种应用的多样性和鲁棒性，例如通用跟踪控制、基于潜在运动表示的交互式角色控制、自然语言描述的基于物理的运动生成以及与大型语言模型（LLMs）的无缝集成以应对复杂和抽象的任务。
moconvqphysics-based motion controlvector quantized variational autoencodersmodel-based reinforcement learninglarge language models (llms)
发现论文，激发创造
  • 基于物理控制的通用人形动作表示

    我们提出了一种通用的运动表示方法，该方法涵盖了针对基于物理的人形控制的全面的运动技能范围。

    Oct, 2023

  • T2M-GPT: 使用离散表示生成基于文本描述的人体动作

    本文研究了基于 VQ-VAE 和 GPT 的人体运动生成的条件生成框架，并表明了通过常用的训练配方（EMA 和 Code Reset），我们可以获得高质量的离散表示。此外，我们在训练期间采用了一种简单的损坏策略来缓解训练 - 测试偏差，并在 HumanML3D 数据集上表现出比竞争方法更好的性能。

    Jan, 2023

  • 神经离散表征学习

    本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

    Nov, 2017

  • 基于神经分类先验的基于物理的角色控制

    提出了一种新的学习框架，利用离散信息瓶颈和强化学习来控制基于物理的角色，从而实现显著改善运动质量和多样性。

    Aug, 2023

  • 软凸量化：用凸优化重新审视向量量化

    通过使用可微分的凸优化方法，Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品，并在图像重构和编码速度等方面取得了显著的改进。

    Oct, 2023

  • 神经 MoCon: 用于物理合理的人类动作捕捉的神经运动控制

    利用物理模拟器来捕捉人类运动的动力学约束条件，通过基于 SDF 的交互约束来获得准确参考运动，然后使用采样分布进行运动控制，并训练所需的分布先验，从而可以捕捉到具有地形交互、人体形状变化和多样化行为的物理合理的人类运动。

    Mar, 2022

  • 运动 VAE 使用的角色控制器

    该篇论文介绍了如何使用基于数据驱动的生成模型，结合深度强化学习算法来实现基于多段运动捕捉数据的真实人体动作生成，并分析了 Motion VAEs 的局限性。

    Mar, 2021

  • 使用 Transformer 学习采样字典，实现机器人运动规划的高效与通用

    本论文提出了一种名为矢量量化运动规划转换器（VQ-MPT）的新方法，它克服了以往基于学习的方法的主要限制，包括无法扩展到更高维度空间和缺乏对分布之外环境的通用性，使其能够应用于各种复杂性系统，实现了较高的成功率和更快的路径规划。

    Jun, 2023

  • 变分贝叶斯量化

    我们提出了一种新颖的算法来量化训练模型中的连续潜在表达式，该算法适用于深度概率模型，可以实现数据和模型压缩，并且可以基于后验不确定性使用自适应量化精度来实现可变的码率失真折衷，实验证明了所提出的算法的有效性。

    Feb, 2020

  • 通过语义量化实现结构化世界建模

    我们提出了一种语义神经离散表示学习的新方法，称为 Semantic Vector-Quantized Variational Autoencoder (SVQ)，通过从底层离散概念模式到对象表示的层次化构建场景表示，并通过训练这些表示上的先验模型来生成图像，并且我们的模型在生成性能和场景理解任务方面表现优于其他非语义向量量化方法。

    Feb, 2024