CVPRApr, 2024

基于 Swin Transformer 和像素焦点损失的事件相机去马赛克

PDF
TL;DR利用 Swin-Transformer 和像素聚焦损失函数来处理 RAW 领域中带有缺失像素数值的图像，解决了以往在 RGB 领域中的广泛模型适用性问题，并通过 MIPI Demosaic Challenge 数据集验证了方法的有效性。
发现论文，激发创造
  • DemosaicFormer：适用于混合 EVS 相机的粗糙到精细的解马赛克网络

    通过一个称为 DemosaicFormer 的粗细框架来解决 HybridEVS 传感器缺乏图像信号处理（ISP）管道的挑战，该框架由粗略渲染和像素纠正网络组成，并且采用多尺度门控模块（MSGM）进行特征信息的跨尺度传递。实验结果表明 DemosaicFormer 在 MIPI 2024 挑战赛上在细节处理方面表现最优。

    Jun, 2024

  • 通过原始图像序列的微调实现联合去马赛克和降噪

    本篇论文提出了一种使用卷积神经网络从镶嵌图像直接学习去马赛克，而不需要真实 RGB 数据的方法，并应用于从 RAW 图像中学习联合去马赛克和去噪的技术，进一步证明 Fine-Tuning 带来的优势。

    May, 2019

  • 仅需关注：基于事件的视觉损失函数

    本文提出了 22 种目标函数及分类法以分析运动补偿方法中的事件对齐，其中的焦点损失函数利用了传统聚焦应用中的函数与成熟的计算机视觉工具有了联系，这些函数可用于多种任务，包括旋转运动、深度和光流估计。

    Apr, 2019

  • 降低事件相机的模拟到现实差距

    本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略，可为视频重建网络和光流网络带来 20-40％的性能提升，并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。

    Mar, 2020

  • 学习从事件中超分辨强度图像

    该研究提出一种基于事件流的端到端神经网络，能够从低空间分辨率的事件摄像头中重建出高分辨率，高动态范围的图像，优于现有同类算法，可通过使用主动传感像素框架或迭代重建图像方法进一步扩展。

    Dec, 2019

  • MIPI 2023 年 RGBW 重拼编程挑战：方法与结果

    本文概述了在 MIPI 2023 上 RGBW Joint Remosaic and Denoise track 的参赛结果和对于参赛队伍开发的前三个最佳模型的详细描述。

    Apr, 2023

  • MIPI 2022 RGBW 传感器再镶嵌挑战赛：数据集和报告

    本文介绍了首个移动智能摄影和成像 (MIPI) 挑战赛之一，使用新颖的 RGBW 联合重构和去噪算法对 RGBW CFA 进行完整分辨率的 Bayer 插值。

    Sep, 2022

  • 释放 CNN 和 Transformer 在平衡的 RGB - 事件视频识别中的力量

    基于 RGB-Event 数据的模式识别是一个新兴的研究课题，本文提出了一种相对轻量级的 CNN-Transformer 模型 TSCFormer，该模型在全局和本地特征提取上取得了平衡，经过大规模实验证实了其有效性。

    Dec, 2023

  • 通过信道和空间调制重新捕获原始屏幕图像和视频中的去莫尔条纹

    通过利用原始颜色分离特征分支和空间调制，以及构建了第一个对齐良好的原始视频去莫尔（RawVDemoiré）数据集，本研究提出了一种专门针对原始输入的图像和视频去莫尔网络，并且在去莫尔图像和视频方面取得了最先进的性能。

    Oct, 2023

  • 双重深层图像先验的联合去马赛克和去噪

    我们提出了一种新的联合去马赛克和降噪方法，名为 JDD-DoubleDIP，它直接在单个 RAW 图像上操作，无需任何训练数据。实验结果表明，我们的方法在 PSNR、SSIM 和质量视觉感知等方面始终优于其他比较方法。

    Sep, 2023