基于时空耦合的实时视频 Zoom 增强
通过使用真实的 RAW 传感器数据进行训练,本文表明将机器学习应用于数码变焦较为有利。作者们还展示了如何通过光学变焦图像获取高准确度的真实高分辨率图像用于训练深度神经网络,并提出了一种新的上下文双边损失(CoBi)算法,使得训练出的网络在 4 倍和 8 倍的计算缩放中实现了最佳性能。
May, 2019
提出了一个名为 Real-RawVSR 的实际原始视频超分辨率 (Raw Video Super-Resolution) 数据集,包含了 450 个不同场景下的低分辨率和高分辨率视频对,并利用两个 DSLR 相机和一个分束器进行采集,同时提出了一种基于两种 RGGB 和原始 Bayer 模式交替使用的两支分支网络,以生成对应的高分辨率 sRGB 图像。实验结果表明,该方法在处理是原始和 sRGB 输入的真实和合成视频上优于基准方法。
Sep, 2022
本文提出了新的自监督学习方法 (SelfDZSR),用于从采用双倍相机变焦观察的真实世界图像中进行超分辨率重建,并以高分辨率图像为监督信息,以匹配其低分辨率版本的特征。
Mar, 2022
本文提出一种新的方法,利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复,实验结果表明,该方法显著超过以往技术。
Mar, 2023
该研究论文提出了一个视频轨道的图像压缩方法,采用了混合编码框架以及一些新技术,包括使用 Spynet 网络进行准确的运动矢量估计,引入上下文挖掘方案以充分利用空时信息,以及整合空时超分辨率模块提高速率失真性能。
Jan, 2024
在这篇论文中,我们针对智能手机的参考图像超分辨率(RefSR)处理中的两个挑战性问题进行了研究,即如何选择适当的参考图像和如何以自监督的方式学习 RefSR。同时,我们提出了一种针对真实场景下的 RefSR 的自监督学习方法,通过观察双重和多重摄像头放大的图像。我们的方法在实验中表现出更好的定量和定性性能,并提供了可用的代码。
May, 2024
研究了基于摄像头镜头的 CameraSR 方法,旨在改善实际成像系统中分辨率(R)和视野范围(V)之间的固有平衡问题,并提出了两种新的数据采集策略, City100 数据集表明, CameraSR 具有提高单图超分辨率性能的实际解决方案,并且可以快速推广到不同的内容和设备上作为实现数字变焦的高级工具。
Apr, 2019
该论文提出了一种针对超分辨率的新度量标准 CLIPScore,并使用该标准在多个数据集上评估了四种标准方法,发现生成对抗网络在语义准确性上优于传统的 L2 损失模型和现代扩散模型,同时将 CLIPScore 作为辅助损失可加快 GANs 的训练速度 18 倍,并改进输出结果,从而在世界各地的多样地理环境中得到有效的模型。
Nov, 2023
本论文提出一种新的视频超分辨率算法,即同时处理多个连续视频帧的 spatio-temporal sub-pixel convolution networks,并采用了创新性的运动补偿和视频超分辨率算法,相比于单帧模型,网络可以减少 30%的计算成本同时保持相同的质量,或者在相似的计算成本下提供 0.2dB 的增益。在公开数据集上的结果表明,该算法在精度和效率方面均超过当前的最新性能。
Nov, 2016