- 从 RGB 视频中构建 3D 人物 - 物体关系:方法和挑战的实证分析
研究了从 RGB 视频中重建人与关节物体交互的 3D 姿态,通过系统性实验验证了五种方法的可行性,结果显示这一任务具有很大挑战性并提出了未来工作方向。
- CVPR自监督神经骨骼形态和外貌模型
本论文提出了一种基于自监督学习的方法,仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示,从而实现这些语义维度的独立控制,该方法不需要形态学的注释,相对于现有的采用 3D 直接监督的各种方法,使用本方法只需 2D 观测即 - ECCV无监督学习高效的几何感知神经关节表示
该研究提出了一种基于生成对抗网络(GAN)的无监督 3D 几何感知表征学习方法,成功地实现了对复杂关节动态物体的控制性 3D 表征的学习,同时避免了传统方法需要用昂贵的标注数据,在实践中具有较好的效果和效率。
- AKB-48:一个现实世界的可动物体知识库
我们提出了一个大规模的关节物体知识库 AKB-48 和一种快速关节知识建模技术 FArM pipeline,包含 48 个类别的 2,037 个现实世界的 3D 关节物体模型,利用这个数据集,我们提出了一个新的分类级别的视觉关节操纵(C-V - CVPR使用交互构建关节对象的数字孪生模型
本文介绍了 Ditto 模型,它是一个通过交互感知的方式学习配置模型估计和立体几何重建的数字孪生模型,可用于虚拟环境中的应用。使用隐式神经表示来实现联合几何和构建模型,可以实现物体的数字孪生模型制作和物理仿真应用。
- CVPR观察移动:无监督发现用于再定位关节的 3D 关节点
通过从多个视角观察未被注释的关节的外表和结构学习,实现姿势控制和连通性的自动识别,使渲染出的物体更真实。
- 三维关节对象无监督姿态感知部件分解
本文提出了一种 PPD 方法,针对具有机械关节的人造关节物体,考虑零件姿态,利用类似的类别先前知识,实现对零部件的非原始隐式表示的无监督学习和零件姿态作为单帧形状监督下的关节参数的无监督学习,提高了关节物体的一致部件分解率。
- AirDOS:基于关节物体的动态 SLAM 优化
本文提出了一种名为 AirDOS 的动态对象感知系统,通过引入刚性和运动约束来建模复杂的关节运动物体,可以联合优化摄像机位姿、物体运动和 3D 结构,以改善在挑战性人口密集型城市环境中的视觉 SLAM 算法的鲁棒性,并为动态物体和静态场景生 - ICCVDensePose 3D:将关节物体的规范表面贴图提升到第三个维度
本文提出了一种名为 DensePose 3D 的方法,通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体(例如人和动物)的三维重建,同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分,再预测它们的 - 面向实际应用的类别级别姿态估计
该研究提出了一种 CAPE-Real 任务设置,旨在解决真实环境下多实例、变化运动结构的各类关节对象建模问题。提出了 ReArtNOCS 框架,利用 RGB-D 输入单次向前推断多个实例的分层姿态估计,并在大规模混合现实数据集 ReArtM - 关节动画的运动表示
本文提出了一种新的运动表示方法,能够自动分离物体中的不同部分,并追踪它们的运动,从而可以更好地进行动画制作。该方法基于完全无监督的学习,提取出有意义且一致的区域表示物体的位置、形状和姿态,适用于各种物体,并且性能超过现有的方法。
- A-SDF: 学习解耦有符号距离函数以表示关节形状
该研究论文提出了一种使用关节的带符号距离函数来表示动态物体的连续重建方法,并实现了对动态物体建模的控制和动画。
- MM双臂机器人通过答案集编程操作关节式物体
本论文提出了基于 Answer Set Programming (ASP) 的框架,以实现对机器人控制结构中的关节式物体的自动化操纵。该框架通过 ASP 表示关节式物体的配置,并检查知识库中这种表示的一致性,并生成操纵动作序列。利用自动规划 - ScrewNet:使用螺旋理论从深度图像中估计独立类别的关节模型
本文提出了一种名为 ScrewNet 的方法,可以直接估计物体的运动模型,从而帮助机器人在人类环境中与各种关节物体如橱柜、抽屉和洗碗机进行交互。该方法利用螺旋理论统一不同类型的运动,通过无需先验知识的深度图像来进行模型估计。在两个基准数据集 - NiLBS: 神经反向线性混合蒙皮
本文介绍了一种利用神经网络通过传统的皮肤技术反转所经历的变形的方法,通过预计算值来提高计算效率,可以在变形时有效地查询它们,这是计算机视觉和图形学中重要的问题。
- 类别层级关节对象姿态估计
本文介绍了一种使用深度图像实现类别级姿态估计的新方法,该方法基于 Articulation-aware Normalized Coordinate Space Hierarchy(ANCSH)构建了一种针对不同类别中的关节控制物体各个部分的 - ECCVNASA: 神经关节形状逼近
本文提出了一种名为神经关节形状逼近(NASA)的技术,它使用神经指示函数来高效表示关节变形对象,避免了由于网格和封闭性的复杂性所带来的问题,并实现了在三维跟踪应用中的有效性。
- 利用高效的非参数信念传播进行节肢物体的分解姿态估计
本文介绍了一种基于非参数信念传播算法的分解方法,用于估算具有连接约束的物体单元的姿态,并评估其对具有连接对象的场景的收敛特性。
- 可动物体和交互的 RBO 数据集
本文介绍了一个包括 14 个关节物体、RGB-D 视频序列和人与物品交互的扳手数据集,并配有基础运动捕捉系统的注释和 Python 下载脚本。
- CVPR通过预测不同视角来学习姿势特定表示
通过无监督学习方法,该研究利用已知物体姿态和形状参数,学习表示关节姿势的具体特征,并仅需要第二视角监督,在联合有标记和无标记数据的条件下,显著提高了关节姿势估计的性能。