Oct, 2023

基于指数递增假设的分区加速学习隐式神经表示

PDF
TL;DR本文通过实证调查发现，当神经网络逼近不连续的分段函数以达到一定的小误差时，时间成本会随着目标信号的空间域边界的增加而呈指数级增长。然后，为了解决这一问题，文章提出了一种基于分区机制的方法，通过将复杂信号分割成多个子区域，并利用分段隐式神经表示来逼近该信号，从而显著加速收敛速度。作者在图像重建的两种场景下进行了实验证明了这种分区方法的有效性：一种是用于学习隐式神经表示，另一种是用于学习 - to-learn 隐式神经表示。
implicit neural representationscontinuous functiondiscontinuous piecewise functionexponential-increase hypothesispartitioning mechanism
发现论文，激发创造
  • 隐式神经表示的采样理论探索

    隐式神经表示（INR）已成为计算机视觉和计算成像中解决反问题的强大工具。在线性反问题背景下，我们研究了使用单隐藏层 ReLU 激活和傅里叶特征层的广义权重衰减正则化方法，来从低通傅里叶系数恢复连续域图像的采样要求，验证了我们的理论，并展示了 INR 在超分辨恢复更实际的连续域幻影图像上的性能。

    May, 2024

  • 复数小波的隐式神经表示和代数

    利用隐式神经表示 (INRs) 以欧几里得空间的多层感知器 (MLP) 对图像进行参数化，有效地在信号中表示了在常规离散表示中看不到的耦合空间和频谱特征，为以前不可能的连续信号处理和机器学习方法铺平了道路。本文研究了使用正弦激活函数的 INRs 在傅里叶理论方面的工作，并展示了与正弦函数相比，使用小波作为激活函数的优势，因为它们能够同时在频率和空间上进行本地化。我们在这项工作中探讨了这种 INRs，并演示了它们如何从 MLP 的第一层中进行粗糙逼近从而解析出信号的高频特征。这导致了多种 INR 架构设计的建议，包括使用复数小波，解耦低通和带通逼近以及基于所需信号奇点的初始化方案。

    Oct, 2023

  • 相变、距离函数和隐式神经表示

    该论文提出了一种新的损失函数用于训练无障碍神经表达模型，该方法受到流体相变理论的启发，并可以生成稠密函数以逼近真实的占用函数和距离函数，并可用于表面重建。

    Jun, 2021

  • MRI 并行重建的批量隐式神经表示

    基于隐式神经表示的 MRI 重建方法通过引入嵌入尺度的编码器和多层感知机 (MLP) 实现了对完全采样的 MRI 图像进行任意尺度的重建，相比其他重建方法，在公开 MRI 数据集上表现出更好的性能。

    Sep, 2023

  • HyperINR: 一种快速预测的超网络，通过知识蒸馏实现隐式神经表示

    本文引入 HyperINR，一种新颖的超网络架构，通过利用多分辨率哈希编码单元的集合，直接预测一个紧凑的 INR 的权重，从而提高了 INR 的推理性能和支持交互式虚拟现实。

    Apr, 2023

  • 图像压缩的隐式神经表示

    本文从图像压缩的角度出发，探索了 INRs 的作用，提出了基于 INRs 的全面压缩流水线并进行了广泛的消融研究，结果表明，该方法表现优异，且与专门为图像设计的常用压缩算法竞争力相当，接近基于率失真自编码器的最新学习方法。

    Dec, 2021

  • 大规模多样化数据的多项式隐式神经表示

    本文提出了 Poly-INR 模型，通过使用多项式函数来消除位置编码的限制，为生成建模任务在复杂领域中采用 INR 模型铺平了道路。Poly-INR 模型在像 ImageNet 这样的大型数据集上进行了定性和定量评估，并表现出与最先进的生成模型可比的性能，可消除卷积、规范化或自注意力层，具有更少的可训练参数。

    Mar, 2023

  • Rapid-INR: 使用隐式神经表示进行高效的无 CPU DNN 训练

    本文提出了一种名为 Rapid-INR 的创新方法，利用 INR 对图像进行编码和压缩，从而加速计算机视觉任务中的神经网络训练；该方法可以将整个数据集直接存储在 GPU 上，并提出了迭代动态剪枝和逐层量化来进一步增强压缩效果，并在图像分类任务中证明了其可行性。

    Jun, 2023

  • HyperTime: 时间序列的隐式神经表示

    本文利用隐式神经表示技术分析了时间序列数据的表示问题，并提出了一种基于傅里叶变换的损失函数来指导网络训练的超网络结构，用于生成时间序列数据。我们证明了这个方法可以用于时间序列数据的扩充与生成，并且在此领域达到了最先进的方法的水平。

    Aug, 2022

  • 医学影像中的暗默神经表征：一项比较调查

    通过利用神经网络通过隐式连续函数参数化数据，隐式神经表示（INRs）在场景重建和计算机图形学中显示出显著结果，本论文综述了 INR 模型在医学成像领域的应用，并讨论了 INRs 的优势、局限性以及在医学成像数据中的挑战和考虑因素，同时提出了未来的研究方向和机会。

    Jul, 2023