Apr, 2023

自监督学习在 MICA 模型中的应用：重建不完美的三维面部结构

PDF
TL;DR本研究采用自监督学习方法，将基于预训练的 MICA 模型与不完美的人脸数据集集成，提出一种创新的方法用于重建受损的面部结构，生成 3D 可打印模型，有效支持医生的患者治疗过程，消除疤痕无痕迹，通过利用预训练模型，仅需要少量的额外训练，使我们的方法熟练设计出重建受损和不完美面部特征的最佳模型，在实验室环境下，利用现代 3D 打印技术，设计了一种标准化的协议，制作出逼真的伪装口罩模型。
pre-trained modelself-supervised learningfacial reconstruction3d printingcamouflaging mask
发现论文，激发创造
  • 自监督多层面部模型学习，在超过 250 Hz 的单目重建中

    本论文提出了一种基于联合学习参数人脸模型和面部形状、表情、反射和照明的回归器的方法，其结合了 3D 可塑模型（3D Morphable Model）的优点和学习校正空间的空外推广优点。

    Dec, 2017

  • 弱监督学习下的精确三维人脸重构：从单张图像到图像集

    本文提出了一种使用深度学习技术进行 3D 面部重建的新方法，其中使用了混合损失函数进行弱监督学习，同时利用多个图像进行面部重建，实现了快速、准确、鲁棒的重建效果，对不同数据集进行了综合实验，并与 15 种现有方法进行了比较，证明了其性能处于领先地位。

    Mar, 2019

  • 基于遮罩的图像建模技术在三维医学图像分析中的应用进展

    本文研究了遮蔽图像建模技术在医学三维图像分析中的应用，发现其相比基于对比学习的方法能够更快地进行监督学习并达到更高的精度，使用高遮蔽率和相对较小的块大小预测原始像素值是医学图像建模的一项重要自监督预训练任务，轻量级的解码器或投影头设计能够加快训练速度并降低成本，而 MIM 方法在不同的图像分辨率和标签数据比例下都具有良好的效果。

    Apr, 2022

  • 从视频中学习人脸模型

    利用多帧视频自我监督训练深度网络，学习面部身份模型并同时重建 3D 面部，采用新的多帧一致性损失函数使得 consistent shape 和 appearance 尽量减小深度不确定性，从而实现单目和多帧重建。

    Dec, 2018

  • 从野外照片集中学习聚合和个性化三维面孔

    本文提出了一种学习聚合和个性化（LAP）的框架，通过自适应地聚合身份的内在面部因素以及使用属性细化网络来修改面部目标属性与细节，从而实现无监督的鲁棒三维面部建模。

    Jun, 2021

  • MiM: 3D 医学图像分析的层叠掩模自监督预训练

    提出一种用于 3D 医学图像的新型预训练框架 “Mask in Mask（MiM）”，通过学习来自不同尺度的分层视觉标记的辨别性表示，在器官 / 病变 / 肿瘤分割和疾病分类等任务中展现出 MiM 相对于其他自我监督学习方法的优越性能，此外，大规模预训练数据集的扩展进一步提升了 MiM 在下游任务中的表现。

    Apr, 2024

  • 学习合成数据进行 3D 人脸重建

    本论文介绍了一种基于卷积神经网络和生成随机几乎逼真的面部图像的方法，可以通过单张照片快速、稳健地重建面部的三维几何结构，即使在极端表情和各种光照条件下也可以成功恢复面部形状。

    Sep, 2016

  • S2F2: 自监督单目图像高保真度人脸重建

    本文提出一种能够重建面部几何形状、在单个单目图像中重建时空变化的面部反射的新颖面部重建方法，采用基于 DNN 的自编码器和可微分光线追踪图像构建，同时利用自监督训练方法实现高保真度的面部重建，同时实现了面部反射和几何形状的高度解耦。

    Mar, 2022

  • 自监督单目 3D 人脸重建：基于遮挡感知多视角几何一致性

    本文提出了基于多视角几何一致的自监督训练架构，目标是在面部姿态和深度估计过程中提供可靠的约束。实验结果表明，该方法在面部姿态、表情和光照等方面的变异下都表现出优越性。

    Jul, 2020

  • HandMIM：3D 手部网格估计的姿态感知自监督学习

    提出了一种新颖的自监督预训练策略来回归 3D 手部网格参数，并在各种手部网格估计任务上取得了强大的性能。

    Jul, 2023