ICCVNov, 2023

基于隐式神经表示的紧凑数据表示的改进位置编码

PDF
TL;DR提出了一种改进了隐式神经表示（INR）的重构质量的新型位置编码方法，该嵌入方法在紧凑数据表示方面具有更大数量的频率基础，并在压缩任务中不引入任何额外复杂度的情况下，在速率失真性能和新视角合成的重构质量方面取得了显著的增益。
positional encodingsimplicit neural representationreconstruction qualityembedding methodnovel view synthesis
发现论文，激发创造
  • 使用傅立叶基数重新参数化训练改进的神经表征

    利用傅里叶参数化方法可以更好地学习隐式神经表示并减少人工数据中的纹理和伪影

    Jan, 2024

  • 大规模多样化数据的多项式隐式神经表示

    本文提出了 Poly-INR 模型，通过使用多项式函数来消除位置编码的限制，为生成建模任务在复杂领域中采用 INR 模型铺平了道路。Poly-INR 模型在像 ImageNet 这样的大型数据集上进行了定性和定量评估，并表现出与最先进的生成模型可比的性能，可消除卷积、规范化或自注意力层，具有更少的可训练参数。

    Mar, 2023

  • 图像压缩的隐式神经表示

    本文从图像压缩的角度出发，探索了 INRs 的作用，提出了基于 INRs 的全面压缩流水线并进行了广泛的消融研究，结果表明，该方法表现优异，且与专门为图像设计的常用压缩算法竞争力相当，接近基于率失真自编码器的最新学习方法。

    Dec, 2021

  • PINs: 基于渐进式隐式网络的多尺度神经表示

    提出了一种逐渐增加频率编码集的渐进式位置编码方法，构建了一个分层的 MLP 结构，其能够准确地重建具有广泛频谱的场景，并在不需要明确的层级监督下逐步学习场景表示。

    Feb, 2022

  • MRI 并行重建的批量隐式神经表示

    基于隐式神经表示的 MRI 重建方法通过引入嵌入尺度的编码器和多层感知机 (MLP) 实现了对完全采样的 MRI 图像进行任意尺度的重建，相比其他重建方法，在公开 MRI 数据集上表现出更好的性能。

    Sep, 2023

  • 使用有条件解码器增强视频的神经表示

    通过引入条件解码器与熵最小化技术，该研究提出了一种通用增强框架，成功提升了隐式神经表示在视频存储与处理中的效果，并在多个基线模型上展现了优越的重建质量和收敛速度，为视频回归、修复和插值任务提供了一种强大的技术。

    Feb, 2024

  • 隐式神经表示的无模态限制变分压缩

    介绍了一种基于内涵神经表征（INR）的模态不可知神经压缩算法，使用变分压缩的方法优化了 INR 的表征能力，其在多种模态的数据集中表现出色，且在 JPEG 2000、MP3 和 AVC/HEVC 编码技术等领域实现了优于其他 INR 技术的性能。

    Jan, 2023

  • HiNeRV：基于分层编码的神经表达的视频压缩

    本文介绍了一种基于 HiNeRV 的视频编解码器，该编解码器具有更高的容量和更好的性能，并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。

    Jun, 2023

  • 位置编码帮助递归神经网络处理大词汇量

    该研究讨论位置编码对递归神经网络（RNN）的影响，利用合成基准测试。位置编码在时间序列中 “时间戳” 数据点，并且补充了 Transformer 神经网络的能力，因为其缺乏表示数据顺序的内在机制。与此相反，RNN 可以自行对数据点进行时间信息编码，使其对位置编码的使用似乎显得 “冗余”。然而，实证调查结果表明，即使与 RNN 结合使用，在处理产生多样观察结果的大词汇量时，位置编码仍然有效。这些发现开辟了关于 RNN 的新的研究方向，涉及输入驱动和自主时间表征的组合。此外，还讨论了计算 / 仿真结果在生物学上的含义，以及位置编码的正弦实现和生物脑中的神经振荡之间的相似之处。

    Jan, 2024

  • 坐标量化的神经隐式表示法在多视图重建中的应用

    学习神经隐式表示的研究取得了巨大的进展，该研究介绍了使用量化的坐标来减少优化过程中的不确定性和歧义，通过体渲染使用离散坐标和其位置编码来学习隐式函数，从而在多个视图的光线交汇点上触发更多的多视点一致性约束，提高了推断隐式函数的效率。

    Aug, 2023