CLOAF: 碰撞感知人流
本文介绍了一种名为 HuManiFlow 的方法,利用概率分布和正规化流预测 3D 人体姿态和形状,同时具备准确性、一致性和多样性,解决了估计不明确的问题。
May, 2023
本文提出了一种新的几何深度学习模型 CorticalFlow,用于 3D 图像到目标物体的畸变,其具有小 GPU 内存占用,生成数十万个顶点的表面及降低拓扑级别错误的特点。该模型在大脑皮层表面重建等方面具有卓越的表现和临床价值。
Jun, 2022
我们提出了一种基于形状约束的循环匹配框架,利用姿态引起的流来构造相关图,并使用网络来学习物体姿态,优化光流和物体姿态,取得了比现有技术显著更高的准确性和效率。
Jun, 2023
本文介绍了一种新颖的局部几何感知神经表面表示方法 CoFie,该方法通过对局部 SDF 的二次逼近进行理论分析得到。CoFie 将局部形状在由法线和切线方向定义的对齐坐标框架中进行压缩表示,通过优化可变的坐标场将局部形状从世界坐标系转换到对齐形状坐标系,从而显著降低了局部形状的复杂性,提高了基于 MLP 的隐式表示的学习效果。此外,本文还引入了二次层以增强对局部形状几何特征的表达能力。CoFie 是一种通用的表面表示方法,在经过精心筛选的 3D 形状集上进行训练,可在测试时适用于新的形状实例。与先前的方法使用相同数量的参数相比,CoFie 在训练和未见过的形状类别的新实例上将形状误差降低了 48% 和 56%。此外,仅使用 70% 更少的参数,CoFie 表现出与先前方法相媲美的性能。
Jun, 2024
我们提出了 LoopReg,一种端到端的学习框架,用于将一组扫描数据对齐到一个共同的 3D 人体模型上。通过自学习的方式,我们成功地训练出了一个能够处理未标记原始扫描数据的模型。
Oct, 2020
通过使用高频率和低频率信息,提出了 HiLo 方法来从 RGB 图像中重建穿着衣物的人体,用于虚拟试衣、电影和游戏等应用。实验结果表明,HiLo 方法在 Thuman2.0 和 CAPE 数据集上的 Chamfer 距离方面的优势达到 10.43% 和 9.54%,同时对来自参数化模型的噪声、挑战姿势和不同服装风格表现出鲁棒性。
Apr, 2024
GenFlow 通过引导目标物体的形状信息,实现了对新物体的精确性和泛化能力的最佳结合。通过预测渲染图像与观察图像之间的光流并迭代优化 6D 姿态,通过三维形状限制和从端到端可微分系统中学习的通用几何知识,性能得到了提升。通过设计级联网络体系结构来利用多尺度相关性和从粗到细的精化,GenFlow 在既有 RGB 和 RGB-D 情况下在看不见的物体姿态估计基准测试中排名第一,在已知物体姿态估计中也能与现有最先进的方法相当。
Mar, 2024
人物图像中的姿势和身体形状编辑一直受到越来越多的关注。然而,当前的方法在处理大幅度编辑时往往受到数据集偏见的困扰,导致逼真度和人物身份的退化。我们提出了一种一次性方法,可以实现大幅度编辑并保留身份信息。为了实现大幅度编辑,我们使用一个 3D 人体模型进行拟合,将输入图像投影到 3D 模型上,并改变人体的姿态和形状。由于初始纹理身体模型存在由于遮挡和不准确的身体形状引起的伪影,渲染图像经历了一种基于扩散的细化过程,在这个过程中,强噪声破坏了身体结构和身份,而不充分的噪声并没有起到帮助作用。因此,我们提出了一种迭代细化方法,首先对整个身体进行弱噪声处理,然后对脸部进行细化。通过自监督学习进一步增强了真实感,通过微调文本嵌入。我们的定量和定性评估表明,我们的方法在各种数据集上优于其他现有方法。
Jan, 2024
我们研究了从真实大规模原始点云序列中自监督估计 3D 场景流的问题,该问题对于轨迹预测或实例分割等各种任务至关重要。我们提出了一种新颖的聚类方法,允许组合重叠的软聚类和非重叠的刚性聚类表示。我们的方法在多个具有 LiDAR 点云的数据集上进行了评估,证明了优于自监督基线的卓越性能,达到了最新的技术水平。特别是在解决含有行人、骑自行车者和其他易受伤害道路用户的复杂动态场景中,我们的方法表现出色。我们的代码将公开提供。
Apr, 2024