AAAIDec, 2023

VQCNIR：基于向量量化码书的更清晰夜间图像恢复

PDF
TL;DR提出了基于向量量化码本（VQCNIR）的清晰夜间图像恢复方法，通过自适应照明增强模块和可变形双向交叉注意力模块，在低光条件下实现了显著且可靠的图像恢复效果。
night photographyimage restorationillumination enhancementvector-quantized codebooklow-light conditions
发现论文，激发创造
  • 使用矢量量化字典和并行解码器进行盲人面部修复

    提出了基于向量量化和纹理变形的 VQFR 方法，该方法利用高质量的低层特征和并行解码器以及自适应压缩字典来恢复面部细节，提高了面部细节的修复质量。

    May, 2022

  • CodeEnhance：一种基于码书的低光图像增强方法

    利用量化的先验知识和图像精修方法，该文提出了一种名为 CodeEnhance 的新型低光图像增强方法，通过学习从低光图像到离散码书的映射，改善图像恢复中的不确定性和噪声压制造成的纹理和颜色信息损失，并结合语义信息、码书位移和交互特征转换模块，实现了对低光图像的交互式增强。实验证明，CodeEnhance 在质量和保真度上显著提高了低光图像增强的性能，对于不均匀照明、噪声和颜色失真等各种退化具有较强的鲁棒性。

    Apr, 2024

  • VQ-NeRF：向量量化增强隐式神经表征

    通过向量量化等方法，本文提出了一种名为 VQ-NeRF 的管线，以提高隐式神经表示的效果和效率，并通过多尺度采样和语义损失函数等方法来增强网络保留场景的细节和几何特征。在多个数据集上的评估结果表明，该方法在图像渲染质量和效率之间达到了最佳平衡，性能优于其他方法。

    Oct, 2023

  • LG-VQ：语言导向的代码本学习

    本文提出了一种新颖的语言引导的码书学习框架 (LG-VQ)，旨在学习与文本对齐的码书，以提高多模态下游任务的性能。实验结果表明，我们的方法在重构和各种多模态下游任务上取得了优越的性能。

    May, 2024

  • 朝向准确的图像编码：动态向量量化改进自回归图像生成

    提出了一种新的两阶段框架，它使用动态量化 VAE 将图像区域编码为基于其信息密度的可变长度代码，以实现更准确，更紧凑的代码表示，从而解决了现有 VQ 基于自回归模型的固定长度编码问题，该方法通过一种新的堆叠 Transformer 架构和共享内容、独立位置输入层设计，从粗粒度到细粒度生成图像。

    May, 2023

  • 利用微调后的 VQGAN 模型进行极端图像压缩

    本文提出了一种基于向量量化 (VQ) 的生成模型的图像压缩编码框架，通过学习 VQGAN 模型的码本可实现在潜空间内对连续信息进行高效压缩，从而在极低比特率下实现优质的重构图像。

    Jul, 2023

  • 利用词性的码书迁移在矢量量化图像建模中的应用

    通过预训练语言模型中的先前训练的编码簿以及词性知识作为先验，构建一个视觉相关的编码簿，通过新的编码簿传递网络来实现鲁棒的 VQIM 编码簿学习，实验证明我们的 VQCT 方法在四个数据集上取得了优于现有最先进方法的性能。

    Mar, 2024

  • 在线聚类码本

    参考文献通过在线聚类学习方法 Clustering VQ-VAE（CVQ-VAE）解决了向量量化（VQ）中的代码书坍塌问题，提高了在复杂的计算机视觉任务中学习更大的代码书的效果。

    Jul, 2023

  • 移动图像修复的先验量化

    本文提出了一种先验量化模型来改正图像处理中的光学畸变，并用可学习编码书将各种先验信息编码成潜在空间，经过量化后，将先验编码与图像恢复分支进行融合，以实现有针对性的光学畸变纠正。综合实验证明了该方法的灵活性和潜力，并验证了其在固定相机上完成目标修复的能力。此外，本模型承诺分析各种先验信息与设备光学畸变之间的相关性，有助于联合软硬件设计。

    May, 2023

  • 通过含蓄的神经网络码本进行残差量化

    QINCo 是一种神经网络 RQ 变体，它通过根据先前步骤的向量逼近条件化地预测每个向量的专门码书，实验证明 QINCo 在多个数据集和码字大小上显著优于现有方法。

    Jan, 2024