移动手机双摄平滑变焦
提出了一种在移动设备上的混合变焦超分辨率的有效系统,通过捕捉一对同步的广角镜头和望远镜头拍摄的图像,并利用机器学习模型将细节从望远镜头转移到广角镜头,进一步提出了自适应混合方法以解决景深不匹配、场景遮挡、流动不确定性和对齐误差问题,并通过在真实情景下进行广泛评估,与最先进的方法进行比较,以在移动平台上 500ms 内生成一张 1200 万像素的图像。
Jan, 2024
本文介绍了一种新的算法 LZU,通过在输入图像上进行学习来计算空间特征并最终消除任何形变,使得可以应用于任何具有 2D 空间输入的任务和任何具有 2D 空间特征的模型,并通过在不同任务和数据集上的评估来展示其可用性。
Mar, 2023
本文致力于通过提高图像的时间分辨率和事件的空间分辨率来弥合传统相机和神经形态相机之间的分辨率差距,并介绍了一种新型的神经网络(CZ-Net)用于同时恢复模糊输入在曝光期内的尖锐隐藏序列和相应的高分辨率事件。
Sep, 2023
本文研究将真实多帧片段应用于超分辨率以提高缩放质量,并在可称为 Spatio-Temporal Coupling Loss 的损失函数中提出更好地利用配对和相邻帧信息的特征级别的空时信息耦合途径,以整合现有 SR 模型中的真实世界视频数据集和 STCL 以获取优越的实验结果。
Jun, 2023
Video-3DGS 是一种基于 3D 高斯雾化技术改进的视频编辑器,旨在增强零痕编辑中的时间一致性,并通过在两个阶段利用三维高斯进行视频重构和编辑来展示其有效性。
Jun, 2024
通过使用 3D 高斯喷洒来优化运动模糊图像中的清晰 3D 场景,我们的方法 DeblurGS 克服了初始相机姿态获取中的不准确性并实现了最先进的去模糊和新视角合成性能。
Apr, 2024
提出了一种利用双摄像头系统中的虚焦效应,并通过图像重构来了解虚焦控制的 $ ext {DC}^2$ 系统,能够优于现有的虚焦去模糊,背景虚化和图像重构技术,支持倾斜移位和基于内容的虚化效果。
Apr, 2023
基于高斯子图的高质量场景重建和新视图合成通常需要稳定、高质量的照片,这往往难以通过手持相机捕捉。本文提出了一种适应相机运动、能够利用受运动模糊和滚动快门衍生的手持视频数据实现高质量场景重建的方法。我们的方法基于对物理图像形成过程的详细建模,利用视觉惯性航位推测 (VIO) 所估计的速度。在单张图像帧的曝光时间内考虑相机姿态的非静态性,并在重建过程中进一步优化相机姿态。我们建立了一个可微的渲染流水线,利用屏幕空间近似有效地将滚动快门和运动模糊效应纳入 3DGS 框架。我们通过合成和真实数据的结果表明,在减轻相机运动方面,我们的方法相较于现有方法具有出色的性能,从而推动了 3DGS 在逼真场景中的应用。
Mar, 2024
通过使用真实的 RAW 传感器数据进行训练,本文表明将机器学习应用于数码变焦较为有利。作者们还展示了如何通过光学变焦图像获取高准确度的真实高分辨率图像用于训练深度神经网络,并提出了一种新的上下文双边损失(CoBi)算法,使得训练出的网络在 4 倍和 8 倍的计算缩放中实现了最佳性能。
May, 2019
基于最近的实时神经渲染技术 3D 高斯碎片化,我们提出了 DC-Gaussian 方法,用于从车载行车记录仪视频中生成新的视角。实验证明,我们的方法在新视角合成方面不仅取得了最先进的性能,还能准确重建捕获的场景,并消除遮挡物。
May, 2024