一种对隐式神经表示激活的采样理论视角
利用隐式神经表示 (INRs) 以欧几里得空间的多层感知器 (MLP) 对图像进行参数化,有效地在信号中表示了在常规离散表示中看不到的耦合空间和频谱特征,为以前不可能的连续信号处理和机器学习方法铺平了道路。本文研究了使用正弦激活函数的 INRs 在傅里叶理论方面的工作,并展示了与正弦函数相比,使用小波作为激活函数的优势,因为它们能够同时在频率和空间上进行本地化。我们在这项工作中探讨了这种 INRs,并演示了它们如何从 MLP 的第一层中进行粗糙逼近从而解析出信号的高频特征。这导致了多种 INR 架构设计的建议,包括使用复数小波,解耦低通和带通逼近以及基于所需信号奇点的初始化方案。
Oct, 2023
隐式神经表示(INR)已成为计算机视觉和计算成像中解决反问题的强大工具。在线性反问题背景下,我们研究了使用单隐藏层 ReLU 激活和傅里叶特征层的广义权重衰减正则化方法,来从低通傅里叶系数恢复连续域图像的采样要求,验证了我们的理论,并展示了 INR 在超分辨恢复更实际的连续域幻影图像上的性能。
May, 2024
利用神经网络将坐标输入映射到相应属性的隐性神经表示(INR)正在信号处理领域引起革命。然而,当前的 INR 技术在调整其支持的频率集方面存在局限性,导致在表示具有多个频率的复杂信号时性能不完善。我们发现,通过引入变周期激活函数,可以大大缓解这个与频率相关的问题,并提出 FINER。通过在不同范围内初始化神经网络的偏置,选择变周期函数中具有不同频率的子函数进行激活。因此,FINER 的支持频率集可以灵活调节,从而提高信号表示性能。我们在二维图像拟合、三维有向距离场表示和五维神经辐射场优化的背景下展示了 FINER 的能力,并证明它优于现有的 INR。
Dec, 2023
INCODE 是一种利用深度先验知识增强 INR 中正弦基准激活函数的控制的新方法,它通过调整激活函数的关键参数来优化表示过程,不仅在表示方面出色,而且在处理音频、图像、3D 形状重建以及神经辐射场(NeRFs)和逆问题(包括降噪、超分辨率、修复和 CT 重建)等复杂任务方面具有突出表现,从而拓宽了信号表示的范围。
Oct, 2023
提出了一种新的神经网络模型 —— 正弦表示网络,可以用于处理带有细节特征的复杂信号及其导数,可以解决泊松方程、赫姆霍兹方程、波动方程等各种边界值问题,并且可以通过超网络学习 Siren 函数的先验知识。
Jun, 2020
提出了一种改进了隐式神经表示(INR)的重构质量的新型位置编码方法,该嵌入方法在紧凑数据表示方面具有更大数量的频率基础,并在压缩任务中不引入任何额外复杂度的情况下,在速率失真性能和新视角合成的重构质量方面取得了显著的增益。
Nov, 2023
通过第二阶 B 样条小波的灵感,我们给深度神经网络 (DNN) 每一层的 ReLU 神经元引入一组简单的约束以修正其谱偏差,从而实现对各种隐式神经表示任务的有效使用。通过实验证明,与普遍观点相反,基于只包含 ReLU 神经元的 DNN 可以学习出最先进的隐式神经表示。我们利用最近关于 ReLU 神经网络学习函数类型的理论工作,提供了一种量化学习函数规则性的方法,为 INR 架构中的超参数选择提供了有原则的方法。通过在信号表示、超分辨率和计算机断层扫描等领域进行实验,我们验证了我们方法的多样性和有效性。所有实验的代码可以在此 URL 中找到。
Jun, 2024
本文提出了 Conv-INR,这是第一个完全基于卷积的 INR 模型,相较于现有的基于多层感知机的 INR 模型,Conv-INR 具有更好的表示能力和可训练性,同时能够有效地学习邻近坐标和高频组成部分。通过广泛的实验验证了 Conv-INR 在图像拟合、CT/MRI 重建和新视角合成等四个任务中明显优于现有的基于多层感知机的 INR 模型,而且在不引入额外推理成本的情况下,还提出了三种进一步增强 vanilla Conv-INR 性能的重新参数化方法。
Jun, 2024