使用自我监督学习和语言监督学习的图像模型，结合精确的 3D 几何知识和丰富的 2D 语义特征，提出一种在机器人操作中填补 2D 到 3D 差距的方法，实现对未知物体的自由文本自我指定和泛化到其他物体类别的能力。

Jul, 2023

Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。

Aug, 2023

使用神经特征融合场（N3F）方法，将预训练的 2D 图像特征提取器引入到对可重建为 3D 场景的多个图像的分析中，以学习在 3D 空间中定义的用于提取特征的学生网络，证明在各种任务中， including 2D 对象检索、3D 分割和场景编辑，N3F 不仅在特定场景神经场上实现了语义理解而且一贯优于自监督 2D 基线。

Sep, 2022

介绍了 D$^3$Fields 动态三维描述符场，它能够捕捉三维环境的动态性，并对语义特征和实例掩膜进行编码。在零样本机器人操作任务中，通过对不同背景、风格和实例的多视图二维观测进行特征插值，生成的融合描述符场允许灵活的目标规范。通过在现实世界和模拟环境中进行广泛评估，证明了 D$^3$Fields 在零样本机器人操作任务中具有良好的泛化和操作精度，相对于 Dense Object Nets 和 DINO 等最先进的密集描述符，D$^3$Fields 具有显著更好的泛化能力和操作准确性。

Sep, 2023

提出了 DDF-HO 方法，利用 Directed Distance Field 作为形状表示，通过引入新的 2D 基于射线的特征聚合方案和 3D 交叉感知手势嵌入，结合 2D-3D 特征对手和物体的相互作用进行建模，大幅优于其他基准方法，尤其在 Chamfer 距离下超过 80%。

Aug, 2023

本研究中，我们探讨了如何在缺乏信息情况下，运用预先训练的扩散模型来合成全新视角的高质量图像，提出了 DreamSparse 框架，并利用几何模块来抓取 3D 特征，将其转化成空间信息来指导生成过程，并通过改进 2D 扩散模型的方式来保证其生成几何一致的图像，通过实验证明了该方法的有效性。

Jun, 2023

基于密度下降的特征扰动（DDFP）是一种新颖的特征级一致性学习框架，旨在通过扰动注入将特征移向密度较低的区域，有效地规范决策边界，并通过轻量级密度估计器实时捕获特征密度分布，该方法在特征级扰动上胜过其他设计并在 Pascal VOC 和 Cityscapes 数据集上展现出卓越的性能。

Mar, 2024

本文提出了一种将 3D 脸部几何模型在图像和模型空间联合建模的方法，通过稠密预测先回归可见面部区域的图像空间特征，再基于模型空间方法预测模型系数，最终通过融合网络将两种方法的优点结合起来，从而实现无限制情境下高鲁棒性和高精度的 3D 密集面部对齐。

May, 2023

本文提出通过蒸馏出自监督的 2D 图像特征提取器的知识，优化一种针对 NeRF 的 3D 特征场，从而实现语义场景分解以及针对局部区域的查询式编辑，从而实现结构编辑的目的。通过实验证明，3D 特征场可以将最近在 2D 视觉和语言基础模型中取得的进展应用于 3D 场景表示，从而实现令人信服的 3D 分割和选择性编辑。

May, 2022

本文提出深度特征分解（DFF）方法，可用于图像内的语义概念定位、特征空间内的层次聚类结构检测和图像的共同分割及共同定位。研究结果表明，DFF 在这些任务上表现出色。

Jun, 2018