Sep, 2023

LightNeuS:内窥镜中基于光照衰减的神经表面重建

TL;DR我们提出了一种新的方法来从单眼内窥镜获取的图像序列中进行三维重建。该方法基于两个关键观点:内腔是密封的,可以通过使用符号距离函数来建模;场景照明是变化的,来自内窥镜的光源并随着到表面的距离的平方反比而衰减。通过修改 NeuS 架构以考虑亮度和深度之间的关系,并引入经过校准的内窥镜相机和光源的光度模型,我们的方法是第一个在整个结肠部分产生密封重建的方法。我们在幻影影像上展示了出色的准确性。密封先验结合照明衰减的显著性使得我们能够以可接受的准确性完成未见过表面的重建,为癌症筛查探测的自动质量评估、测量观察到的黏膜的全局百分比铺平了道路。