MeshBrush: 内窥镜的神经风格化解剖网格绘制
本研究基于场景重建的网格应用风格转移技术,让用户能够在虚拟现实中欣赏以喜欢的艺术家绘画风格来呈现的三维环境。研究通过对场景网格的纹理进行优化并从所有可用的输入图像上共同进行风格化,实现了一致性和稳定性风格化表现。
Dec, 2021
本文提出了一种综合的神经方法,用于从密集的多视角视频中重建、压缩和渲染人类表演。该方法桥接了传统的动画网格工作流和一类高效的神经技术,其中包括神经表面重构器和混合神经跟踪器,并实现了各种带宽设置下的从动态纹理到光图渲染的渲染方案,展示了其在各种网格应用和各种平台的逼真自由视点体验中的有效性。
Sep, 2022
我们的研究介绍了一种可学习的三维高斯表示方法,通过从立体内窥镜视频中学习,可以重建和模拟手术场景,以提高手术教育和机器人学习的效率和多样性。
May, 2024
本研究提出了一种基于一致性的方法,用于联合学习模拟和真实内窥镜数据的手术工具分割问题,实验结果表明,该方法在手术工具分割领域具有相对较好的效果。
Jul, 2020
该研究提出一种基于双目内窥镜深度估计和光流的深度声明网络,通过减小两个几何损失优化相机姿态估计,并且引入了两个自适应的像素权重映射来平衡贡献,实现在挑战性的内窥镜手术场景中更加鲁棒的相机姿态估计,具有推进微创外科领域相关任务(如 SLAM 或 3D 重建)的研究意义。
Apr, 2023
基于几何深度学习的形状生成模型在计算医学中的应用可通过比较分析,验证了其适用于以真实 3D 网格形状为基础的合成解剖形状,并且可以进一步增加变异性并保留更多生成形状的细节。
Mar, 2024
本文介绍了一种高保真度的手术模拟器应用,将真实内科手术过程的表征学习应用于手术仿真,以增强真实感,通过引入改进的循环一致性生成对抗网络 tempCycleGAN 来提高时序一致性,以便为微创手术提供更真实的训练体验。
Jun, 2018
通过多个重叠的 4D 神经辐射场(NeRFs)和渐进优化方案,在高度动态的变形组织环境中对移动内窥镜进行隐式场景分离和重建,从而提高了操作简易性并在时间上提供了患者视频的重建能力的改进,同时不依赖于外部跟踪信息。
Mar, 2024
通过使用扩散模型结合零样本视频扩散方法,通过文本指定手术动作并通过分割掩模指导生成真实的腹腔镜图像和视频,本研究在提高培训过程中迈出了重要一步,评估了生成的图像的保真度和事实正确性,获得了 FID 指标为 38.097 和 F1-score 指标为 0.71。
Apr, 2024