Oct, 2022

具有丰富纹理和多种配件的关节手模型 DART

PDF
TL;DR本文介绍了一种针对手部建模的 MANO 模型的扩展版 --DART，其中包含了 50 个不同款式和形状的 3D 配饰和 325 幅手工制作的 2D 纹理贴图。通过 Unity GUI，用户可以生成具有多样化姿态、摄像机、背景、灯光、纹理和配饰的合成手数据，并发布了一份包含 800K 高度逼真合成手影像的数据集 DARTset，用于增加手姿估计和网格恢复任务的泛化能力。
发现论文，激发创造
  • 具身之手：一体化建模和捕捉手和身体

    本研究提出了一种全新的手部模型（MANO），并使用 MANO 模型，结合标准化的人体三维模型（SMPL）构建了一个全身可动态捕捉的模型（SMPL+H），实现了复杂的人体动作捕捉并保持高度真实性。

    Jan, 2022

  • DART: 一个轻量级的、质量推荐的数据到文本注释工具

    介绍了一种轻量级的注释工具 ——Data AnnotatoR Tool (DART)，用于标记分层结构数据。通过使用后端序列到序列模型，该系统可以迭代地分析注释标签以更好地对未标记数据进行采样。在模拟实验中，DART 显示了其在标记大量结构化数据、减少注释总数以及自动建议相关标签等方面的优越性能。

    Oct, 2020

  • DexArt：对具有关节的对象进行通用的熟练操纵的基准测试

    为了实现通用的机器人，我们需要使机器人像人类一样操作日常关节物体。本论文提出了一种新的基准测试 DexArt，并研究了具有关节物体的熟练操作的通用性。我们使用强化学习和三维表示学习来实现泛化，通过广泛的研究，提供了 3D 表示学习如何影响决策制定的新见解。

    May, 2023

  • DART: 开放域结构化数据记录到文本生成

    本文提出了 DART 数据集，其中包含超过 82k 条开放领域结构化数据到文本生成实例。我们通过从表中提取语义三元组的方式，以及利用标头之间的语义依赖关系和表标题来编码表的结构，提出了一种数据到文本生成的注释程序。我们还将从开放领域语义解析和对话行为意义表示任务中提取的异构源有效地合并，以及提出了数据集构建框架，利用树本体注释、问答对到陈述句的转换和谓词统一等技术进行最少的后期编辑。我们在 DART 上进行了系统评估，并展示了 WebNLG 2017 的最新成果，证明 DART（1）对现有数据到文本数据集提出了新的挑战，（2）促进了跨领域的泛化。

    Jul, 2020

  • RealDex：面向机器人灵巧机械手的人类化抓握技术

    在这篇论文中，我们介绍了 RealDex—— 一个捕捉了真实灵巧手部抓握动作的先驱数据集，其中融入了人类行为模式，丰富了多视角和多模态的视觉数据。使用远程操作系统，我们实时无缝地同步人 - 机器手的姿态。这个类似人类运动的集合对于训练灵巧手更自然、更准确地模仿人类动作至关重要。RealDex 在推动人形机器人在现实世界场景中的自动感知、认知和操作方面具有巨大潜力。此外，我们介绍了一种先进的灵巧抓握动作生成框架，通过有效利用多模态的大型语言模型与人类经验相吻合，增强了其在现实世界的应用能力。大量实验证明了我们的方法在 RealDex 和其他公开数据集上的出色性能。完整的数据集和代码将在本文发表后提供。

    Feb, 2024

  • DART：雷达新视角综合的隐式多普勒层析

    通过使用雷达特定的物理特性来创建一个基于反射和透射的渲染管道，DART (基于多普勒辅助的雷达层析成像) 可以合成出优质的雷达距离 - 多普勒图像，并可以用来生成高质量的层析成像。

    Mar, 2024

  • MANUS：利用弯曲的 3D 高斯模型捕获无标记手 - 物体握取

    使用关节化的 3D 高斯方法捕获手 - 物体抓取，建立 MANUS-Grasps 数据集并展示比其他方法更准确的联系评估方法。

    Dec, 2023

  • 大规模多视角 3D 手势姿态数据集

    提出一个多视角手势姿势数据集和一个既简单又准确的、用于实时鲁棒的 2D 手势姿势估计的深度学习框架。

    Jul, 2017

  • SynthoGestures: 面向驾驶场景的合成动态手势生成新框架

    利用虚拟 3D 模型生成合成手势数据集的框架，通过使用 Unreal Engine 合成逼真的手势，提供自定义选项和减少过度拟合风险，改善智能汽车领域的手势识别系统的开发。

    Sep, 2023

  • ArtiGrasp：双手灵巧抓握与关节机构的物理合成

    ArtiGrasp 使用强化学习和物理模拟来训练一个控制全局和局部手姿势的策略，以实现包括抓取和关节运动的双手 - 物体交互，并通过逐渐增加的难度的学习课程实现精确的手指控制。

    Sep, 2023