Dec, 2023

FINER: 变周期激活函数下的灵活光谱偏置调节的隐式神经表示

PDF
TL;DR利用神经网络将坐标输入映射到相应属性的隐性神经表示（INR）正在信号处理领域引起革命。然而，当前的 INR 技术在调整其支持的频率集方面存在局限性，导致在表示具有多个频率的复杂信号时性能不完善。我们发现，通过引入变周期激活函数，可以大大缓解这个与频率相关的问题，并提出 FINER。通过在不同范围内初始化神经网络的偏置，选择变周期函数中具有不同频率的子函数进行激活。因此，FINER 的支持频率集可以灵活调节，从而提高信号表示性能。我们在二维图像拟合、三维有向距离场表示和五维神经辐射场优化的背景下展示了 FINER 的能力，并证明它优于现有的 INR。
发现论文，激发创造
  • 使用傅立叶基数重新参数化训练改进的神经表征

    利用傅里叶参数化方法可以更好地学习隐式神经表示并减少人工数据中的纹理和伪影

    Jan, 2024

  • 复数小波的隐式神经表示和代数

    利用隐式神经表示 (INRs) 以欧几里得空间的多层感知器 (MLP) 对图像进行参数化，有效地在信号中表示了在常规离散表示中看不到的耦合空间和频谱特征，为以前不可能的连续信号处理和机器学习方法铺平了道路。本文研究了使用正弦激活函数的 INRs 在傅里叶理论方面的工作，并展示了与正弦函数相比，使用小波作为激活函数的优势，因为它们能够同时在频率和空间上进行本地化。我们在这项工作中探讨了这种 INRs，并演示了它们如何从 MLP 的第一层中进行粗糙逼近从而解析出信号的高频特征。这导致了多种 INR 架构设计的建议，包括使用复数小波，解耦低通和带通逼近以及基于所需信号奇点的初始化方案。

    Oct, 2023

  • 一种对隐式神经表示激活的采样理论视角

    使用隐性神经表示 (INRs) 对信号进行紧凑、可微的编码已经越来越受青睐。本研究从采样理论的角度对常用的正弦位置编码、非传统激活函数等技术进行了全面分析，发现在信号编码中 sinc 激活函数从理论上来讲是最优的，同时我们还建立了动力系统和 INR 之间的联系，利用采样理论来连接两种范式。

    Feb, 2024

  • 基于傅里叶增强的隐式神经融合网络用于多光谱与高光谱图像融合

    该论文介绍了一种特定设计用于多光谱和高光谱图像融合任务的傅里叶增强的隐式神经融合网络，通过创新地提出了一种空间和频率隐式融合函数（Spa-Fre IFF）来捕捉高频信息并扩展感受野，并发明了一种新的解码器，使用复数 Gabor 小波激活函数，称为空间频率交互解码器（SFID），以增强隐式神经表示特征的交互作用。在两个基准多光谱和高光谱图像融合数据集上的实验证明了该方法在视觉上和定量上的最先进表现，同时消融研究证明了所提出的贡献。

    Apr, 2024

  • 具有周期性激活函数的隐式神经表示

    提出了一种新的神经网络模型 —— 正弦表示网络，可以用于处理带有细节特征的复杂信号及其导数，可以解决泊松方程、赫姆霍兹方程、波动方程等各种边界值问题，并且可以通过超网络学习 Siren 函数的先验知识。

    Jun, 2020

  • 隐式神经表示的采样理论探索

    隐式神经表示（INR）已成为计算机视觉和计算成像中解决反问题的强大工具。在线性反问题背景下，我们研究了使用单隐藏层 ReLU 激活和傅里叶特征层的广义权重衰减正则化方法，来从低通傅里叶系数恢复连续域图像的采样要求，验证了我们的理论，并展示了 INR 在超分辨恢复更实际的连续域幻影图像上的性能。

    May, 2024

  • Conv-INR: 多模视觉信号的卷积隐式神经表示

    本文提出了 Conv-INR，这是第一个完全基于卷积的 INR 模型，相较于现有的基于多层感知机的 INR 模型，Conv-INR 具有更好的表示能力和可训练性，同时能够有效地学习邻近坐标和高频组成部分。通过广泛的实验验证了 Conv-INR 在图像拟合、CT/MRI 重建和新视角合成等四个任务中明显优于现有的基于多层感知机的 INR 模型，而且在不引入额外推理成本的情况下，还提出了三种进一步增强 vanilla Conv-INR 性能的重新参数化方法。

    Jun, 2024

  • 大规模多样化数据的多项式隐式神经表示

    本文提出了 Poly-INR 模型，通过使用多项式函数来消除位置编码的限制，为生成建模任务在复杂领域中采用 INR 模型铺平了道路。Poly-INR 模型在像 ImageNet 这样的大型数据集上进行了定性和定量评估，并表现出与最先进的生成模型可比的性能，可消除卷积、规范化或自注意力层，具有更少的可训练参数。

    Mar, 2023

  • INCODE: 具有先验知识嵌入的隐式神经调节

    INCODE 是一种利用深度先验知识增强 INR 中正弦基准激活函数的控制的新方法，它通过调整激活函数的关键参数来优化表示过程，不仅在表示方面出色，而且在处理音频、图像、3D 形状重建以及神经辐射场（NeRFs）和逆问题（包括降噪、超分辨率、修复和 CT 重建）等复杂任务方面具有突出表现，从而拓宽了信号表示的范围。

    Oct, 2023

  • 具地区感知和可推广性的隐式神经表示

    提出了一种新的通用的内隐神经表示（INR）框架，结合了 transformer 编码器和可感知局部性的 INR 解码器，显著优于以往的通用的 INR，并验证了局部感知潜变量在图像生成等下游任务中的有效性。

    Oct, 2023