CVPRApr, 2020

通过序列特征金字塔网络实现马赛克超分辨率

PDF
TL;DR本文提出了一种基于深度学习超分辨率的方法，利用卷积 LSTM 和注意机制来提高既可以用于 RGB Bayer 也可以用于多光谱的马赛克图像的空间和光谱分辨率，实验结果表明该方法在既可以用于 Bayer 也可以用于多光谱图像上均优于当前最先进的方法，亦为针对马赛克图像的第一种专门方法。
multi-spectral camerassuper-resolutionconvlstmattention mechanismsmosaic images
发现论文，激发创造
  • 基于注意力驱动的约束平衡的视觉定位

    本文介绍了一种名为 AttBalance 的新框架，通过优化语言相关区域内的视觉特征行为，以提高视觉定位任务的性能，并在四个不同基准测试上对五种不同模型进行了评估和持续改进，进而在 QRNet 上实现了最新的表现水平。

    Jul, 2024

  • 注意力的解剖学研究

    我们引入一种范畴论的图示形式，以系统性地关联和推理机器学习模型。我们的图示以直观但不丢失关键细节的方式呈现架构，其中模型之间的自然关系通过图形变换捕捉，并且重要的差异和相似之处一目了然。在本文中，我们着重于注意力机制：将民间传说转化为数学推导，并在文献中构建了一个注意力变体的分类学。作为我们形式主义支持下的经验研究的第一个例子，我们识别了注意力的重复解剖组成部分，我们全面重组它们以探索注意力机制的变化空间。

    Jul, 2024

  • 基于随机微分方程的高效 DEM 超分辨率及空洞填充

    本文提出了一种统一的生成模型，通过采用 DEM 随机微分方程（DEM-SDE）对 DEM 质量进行统一增强，该方法在同时进行超分辨率和填充空缺方面表现出竞争性的性能。

    Jul, 2024

  • ASSR-NeRF: 在体素网格上实现任意尺度超分辨率以高质量重建辐射场

    提出了一种名为 Arbitrary-Scale Super-Resolution NeRF (ASSR-NeRF) 的新型框架，通过使用 VoxelGridSR 模型在优化的体积上直接进行 3D 超分辨率 (SR) 操作，从而实现超分辨率新视角合成 (SRNVS)。通过在多样化场景上进行训练，可以确保模型的泛化能力，在训练过程中，对于使用低分辨率视角的未见场景，可以直接应用 VoxelGridSR 来进一步优化体积，并实现多视角一致的超分辨率 (SR)。实验证明，所提出的方法在 SRNVS 上取得了显着的性能提升。

    Jun, 2024

  • 时空分层强化学习用于可解释的病理图像超分辨率

    提出了一种层次强化学习框架，用于解决病理图像超分辨率问题中的问题，通过分级恢复机制和时空管理器实现对病理图像的逐块恢复，并在肿瘤诊断方面取得显著提升。

    Jun, 2024

  • 揭开 U-Net 模型中感受野尺寸对医学图像分割效果的神秘

    医学图像分割是医疗应用中关键的任务，本研究探讨了 U-Net 和 Attention U-Net 架构中的感受野（RF）大小及其对模型性能的影响，研究了 RF 大小与感兴趣区域特征、模型性能以及计算成本之间的关系，提出了表示给定网络层的理论感受野（TRF）的数学符号，并提出了两个新的度量指标 - 有效感受野（ERF）率和对象率来定量 ERF 内显著贡献像素的比例和分割对象相对于 TRF 大小的大小比。结果表明，存在一个最佳的 TRF 大小，成功地在捕获更广泛的全局背景信息和保持计算效率之间取得平衡，从而优化模型性能。注意力机制的 U-Net 模型始终优于基本 U-Net 模型，无论 TRF 大小如何。这些新颖的发现为开发用于医学成像的更高效 U-Net 架构提供了宝贵资源，并为未来的研究铺平了道路。还开发了一种计算 U-Net（和 Attention U-Net）模型的 TRF 的工具，并为给定模型和数据集建议了适当的 TRF 大小。

    Jun, 2024

  • 基于曼巴的高效子空间扫描的光场超分辨率

    本文基于选择性状态空间模型 Mamba，提出了一种基于 Mamba 的光场超分辨率方法 MLFSR，通过设计高效的子空间扫描策略来实现对高分辨率 4D 光场的全图像处理，显著提升了性能。

    Jun, 2024

  • 高分辨率电子显微镜的零样本图像去噪

    提出了 Noise2SR，一个用于高分辨率电子显微镜图像去噪的零样本自监督学习（ZS-SSL）框架，通过超分辨率自监督训练策略和随机子抽样模块，提高了去噪性能，可用于材料成像领域中图像信噪比的改进。

    Jun, 2024

  • 增强图像：核磁共振中使用人工智能进行超分辨率

    本章提供了关于深度学习技术用于改善 MRI 空间分辨率的概述，包括卷积神经网络、生成对抗网络，以及更高级的模型，如 transformers、扩散模型和隐式神经表示。我们探索了超分辨图像对临床和神经科学评估的影响，并涵盖网络架构、图像评估指标、网络损失函数和训练数据细节等各种实际主题，包括模拟低分辨率图像的下采样方法和数据集选择。最后，我们讨论了深度学习 MRI 超分辨率的现有挑战和潜在未来发展方向，旨在促进其广泛应用于各种临床和神经科学应用。

    Jun, 2024

  • 引导式上下文门控：学习利用视网膜底图中显著病变

    通过引入 Guided Context Gating 注意机制，本研究提出了一种用于有效表示医学图像（特别是视网膜图像）的新方法，相较于现有注意机制，在定位病变上具有更好的效果，并在视网膜病变的严重程度评估中实现了显著的精度提升。

    Jun, 2024