Aug, 2023

基于单眼图像的形状重建的端到端食物分量估计框架

PDF
TL;DR通过使用单目图像进行三维形状重建，我们提出了一种端到端深度学习框架，用于从食物图像中估计食物能量，其在公开的食品图像数据集 Nutrition5k 上评估结果显示，我们的方法具有竞争力的性能，只需使用 RGB 图像作为推理阶段的唯一输入。
dietary assessmentimage-based food portion estimationdeep learning framework3d shape reconstructionfood energy estimation
发现论文，激发创造
  • 单目三维人脸重建的感知形状损失

    通过使用阴影线索，我们提出了一种新的适用于单目人脸捕捉的感知形状损失函数，该函数能够评估 3D 人脸估计的质量，并且能够优化单目 3D 人脸重建和深度神经网络回归，提高当前技术水平的结果。

    Oct, 2023

  • 基于深度神经网络的端对端三维人脸重建

    该篇论文提出了一种基于深度神经网络的端到端的方法来从单张 2D 人脸图像中进行三维人脸重建，并且利用了多任务损失函数和融合卷积神经网络来提高人脸表情重建的准确性。

    Apr, 2017

  • 基于加权损失和迁移学习的深度估计

    通过使用迁移学习和优化损失函数的简化和适应性方法，我们改进了深度估计的准确性。我们探索了多种编码解码模型，并发现 EfficientNet 模型在 RSME，REL 和 log10 方面表现最佳。我们的模型在准确性和稳健性方面取得了显著提升。

    Apr, 2024

  • 单目内窥镜深度估计的几何感知深度神经网络

    本文提出了一种在内窥镜术中进行单目深度估计的方法，该方法利用几何一致性损失和梯度损失来提高重建效果，并使用合成的 RGB-Depth 数据集来捕捉解剖结构上的反射和照明变化，实验结果表明该方法在实现视频 - CT 配准算法的精度要求时，具有优于现有方法的表现。

    Apr, 2023

  • 通过设计兼容的内窥镜图像释放深度和姿态估计神经网络的能力

    通过分析内窥镜图像的特性，改进了图像和神经网络之间的兼容性，并在深度学习模型中引入了部分图像信息恢复全局信息的方法，以及提出了轻量级神经网络来增强内窥镜图像的能力，从而提高了内窥镜导航的准确性和稳定性。

    Sep, 2023

  • 使用自我监督学习方法进行单目内窥镜密集深度估计

    提出了一种基于单目内窥镜数据的自监督卷积神经网络训练方法，无需解剖学或阴影的先验建模，仅需要单目内窥镜视频和多视角立体方法，如运动结构，以稀疏方式监督学习。

    Feb, 2019

  • 从单目图像中恢复 3D 人体网格：一项调查

    本篇文章调查了单目三维人体网格恢复的相关任务，包括身体模型，恢复框架 / 训练目标，数据集评估指标和评测结果，并从优势和劣势方面深入分析了两种范式：优化和回归。作者希望激励研究人员的兴趣，促进该领域的研究。

    Mar, 2022

  • 单目内窥镜中用于密集深度估计的自监督学习

    本文提出一种无监督的自我监督方法，用于训练卷积神经网络从单目内窥镜数据中密集地估计深度，而无需先验建模解剖或着色。

    Jun, 2018

  • 单目内窥镜视频中鼻窦解剖结构的稠密三维重建的定量评估

    通过定量分析，我们使用自监督方法对内窥镜定位进行了定量分析，采用与高分辨率计算机断层扫描相结合的内窥镜序列和光学跟踪获取的 9 个离体标本的结果显示，所生成的重建与解剖结构高度一致，重建与 CT 分割间的平均点对网格误差为 0.91 毫米，然而，在点对点匹配场景中，即对内窥镜跟踪和导航至关重要的情况下，我们发现平均目标注册误差为 6.58 毫米。我们发现姿态与深度估计的不准确性对此误差贡献相等，并且具有更短轨迹的局部一致性序列生成更准确的重建。因此，为了改进重建并促进临床应用，实现相对相机姿态和估计深度与解剖学的全局一致性至关重要。

    Oct, 2023

  • 从单张图片学习恢复三维场景形状

    研究探讨了在混合数据深度预测训练中使用的位移不变重建损失所引起的未知深度偏移及可能的未知相机焦距问题，并设计了一个两阶段框架以实现单目图像深度预测，并使用三维点云编码器预测遗漏的深度偏移和焦距以恢复逼真的 3D 场景形状，本文提出了图像级标准化回归损失和基于法向几何损失的方法，以增强用混合数据集训练的深度预测模型，该深度模型在 9 个不可见数据集上测试并取得了零样本数据集泛化的最新性能记录。

    Dec, 2020