半透明蠕虫的三维形状重建
利用仅需数张自然图像和已知任意环境映射,基于物理原理的网络,可恢复透明物体的 3D 形状,包括复杂折射和反射,其成功复原了高质量透明物体的 3D 几何形状,最少仅需五到十二张图片。
Apr, 2020
本文介绍了一种新型的自动化图像分割方法,该方法称为多环境模型估计(MEME)框架,能够在各种环境下实现的多功能性,并且可以轻松地提取线虫的骨架以进行轨迹分析,相较于基于阈值的方法,该算法在几乎所有受测环境中的性能都表现出更好的表现,可为 C.elegans 的分割和骨架重建提供一个有吸引力的平台。
Jul, 2010
从真实世界数据中忠实地创建的数字 3D 物体表示可以用于人工或计算机辅助分析,同时可以用于生成难以获取或缺乏训练数据的机器学习方法的训练数据,本文提出了一种用于获取包括半透明物体内部的物理模型的体积重建方法,通过在明亮的白光源前以不同角度拍摄物体并计算每个体素的吸收和散射来解决可视化层析成像问题,此外,还提出了一种将非物理 NeRF 媒体转换为基于物理的体积网格的方法,并通过两个真实的浮游生物验证集展示了该方法的有用性,最终还将实验室扫描的模型重新光照并虚拟地浸入带有增强介质和照明条件的场景中。
Dec, 2023
本文提出了一种深度前馈的分离网络(SON)方法,能够有效地分离高度重叠的生物图像中的个体对象,并估计中心对象的形状。实验表明该方法可以解析三类流行的模型生物的显微镜图像,同时避免了无需渲染训练图像的高维度配置空间和大量渲染测试时间操作的需求。
Dec, 2016
本文提出了一种解决通过透明封装的对象恢复三维几何形状的新方法,将场景显式建模为内外两个不同的子空间,并使用了一种混合渲染策略,通过最小化真实图像与混合渲染图像之间的差异来恢复模型的几何形状和外观,实验证明该方法优于现有的技术。
Mar, 2023
本文提出了一种用于重建透明物体完整 3D 形状的全自动方法,通过不同视角下捕获透明物体的轮廓和光线折射路径,并在表面投影、轮廓一致性和表面光滑度三个约束条件下逐步优化模型,实验结果表明该方法可以成功恢复透明物体的复杂形状,并忠实地再现它们的光折射特性。
May, 2018
通过新的 sim2real 域转移方法,我们在未配对的图像转换框架中对外观、形状和姿势进行了显式和独立的建模,并在无需手动注释目标域的情况下,在 Drosophila melanogaster(果蝇)、Caenorhabditis elegans(蛔虫)和 Danio rerio(斑马鱼)上实现了改进的姿势估计准确性,从而捕捉神经回路编排行为的姿势。
Jan, 2020
我们提出了一种新的方法来从单眼内窥镜获取的图像序列中进行三维重建。该方法基于两个关键观点:内腔是密封的,可以通过使用符号距离函数来建模;场景照明是变化的,来自内窥镜的光源并随着到表面的距离的平方反比而衰减。通过修改 NeuS 架构以考虑亮度和深度之间的关系,并引入经过校准的内窥镜相机和光源的光度模型,我们的方法是第一个在整个结肠部分产生密封重建的方法。我们在幻影影像上展示了出色的准确性。密封先验结合照明衰减的显著性使得我们能够以可接受的准确性完成未见过表面的重建,为癌症筛查探测的自动质量评估、测量观察到的黏膜的全局百分比铺平了道路。
Sep, 2023
本文提出了一种基于用户标记图片和动物模板的体积变形框架,通过学习每个局部区域的硬度值,动态调整模板三维网格来实现动物变形与模拟,其优于未学习硬度值的方法,适用于高度可形变和关节灵活的动物模型。
Jul, 2015
本文提出一种联合估计高度运动模糊物体的 3D 运动、3D 形状和外观的方法,并通过基于链式法则求导的逆渲染技术实现快速运动物体的去模糊和三维重建。
Nov, 2021