热扩散函数(TSF): 物理指导下的材料分类
介绍了一个新的光场数据集,并利用深度学习在4D光场上进行材料识别。实验中,最佳表现的CNN架构相比2D图像分类提高了7%(从70%到77%),这些结果构成了对CNN应用于光场应用的重要基线。
Aug, 2016
本论文提出了一种材料获取方法,在手持的手机相机拍摄时,通过任意环境光线下使用闪光灯成像物体表面,从而避免阴影并同时捕捉高频镜面反射,使用训练好的卷积神经网络(SVBRDF)回归出完整物体表面的BRDF和法线信息,通过密集条件随机场模块细化结果,最终获得高质量的各种材料的表面重构结果,并证明了该方法在真实数据和合成数据上比现有方法获得更好的结果。
Apr, 2018
DeepIR是一个新的热成像处理框架,结合了精确的传感器建模和深度网络图像表示,可用于开展无需训练数据和已知黑体目标的计算机视觉任务,并采用多张图像噪声抑制和超分辨率算法,实现高质量的非均匀校正。
Aug, 2021
本文提出了基于可微分渲染的方法,通过神经入射光场和多层感知机模擬的表面BRDF模型来实现多视图图像和重构几何体的物质和照明估计,该方法能够准确估计静态场景的照明,并可自然处理遮挡和间接光线,未需多次反射。我们在多个场景数据集上实验,结果表明本方法以显著的优势超越现有方法,成为图像物质和照明估计的新的最佳实践。
Mar, 2022
该研究旨在探究通过全波形反应是否能够确定物体的材料类型或类别,并通过随机森林分类器和时域卷积神经网络分类器训练两种不同的全波形材料分类器,结果表明,TCN分类器在更广泛的材料范围内表现更好,但入射角度、物体颜色和材料相似性等因素会影响总体性能。
May, 2023
我们提出了一种方法来控制物体的材质属性,如粗糙度、金属性、反照率和透明度。我们的方法利用了文本到图像模型的生成先验知识,通过标量值和指令来改变低级材料属性。我们通过生成基于物理的材料的以物体为中心的合成数据集,解决了缺乏具有受控材质属性的数据集的问题。通过在这个合成数据集上微调修改过的预训练文本到图像模型,我们能够在保留其他所有属性的同时编辑真实世界图像中的材质属性。我们展示了我们的模型在材质编辑 NeRF(可编辑反射函数)中的潜在应用。
Dec, 2023
基于热传导理论原理,本论文提出热传导启发的变形器(TCI-Former)用于红外小目标检测(ISTD),通过特征图演化的角度描述ISTD过程,设计了热传导启发的注意力模块(TCIA)和热传导边界模块(TCBM),在IRSTD-1k和NUAA-SIRST数据集上的实验证明了方法的优越性。
Feb, 2024
我们提出了一种基于神经辐射场的新型多模态方法ThermoNeRF,能够联合渲染场景的新的RGB和热像视图,并通过使用配对的RGB和热像图像来学习场景密度,而独立的网络用于估计颜色和温度信息。此外,我们还引入了一个新的数据集ThermoScenes来弥补可用的RGB+热像数据集的不足,实验证实ThermoNeRF能够实现准确的热像合成,平均绝对误差为1.5℃,相比于使用拼接的RGB+热像数据的Nerfacto方法,提高了50%以上。
Mar, 2024
本研究解决了在低光和恶劣天气条件下热视觉算法训练数据样本稀缺的问题。提出了一种新的边缘引导条件扩散模型,通过可见图像中的边缘信息生成像素级对齐的伪热图像,从而提高对象 delineation 的精确度。实验结果表明,该模型在图像生成质量上优于现有的最先进方法。
Aug, 2024
本研究解决了热成像场景从RGB和热图像重建的挑战,提出了一种新颖的热3D高斯渲染方法(ThermalGaussian),能够同时生成高质量的RGB和热图像。通过引入多模态正则化约束和针对热成像特点的平滑约束,本方法不仅提升了图像渲染质量,还节省了90%的模型存储成本,具有重要的实际应用潜力。
Sep, 2024