使用傅立叶基数重新参数化训练改进的神经表征
利用隐式神经表示 (INRs) 以欧几里得空间的多层感知器 (MLP) 对图像进行参数化,有效地在信号中表示了在常规离散表示中看不到的耦合空间和频谱特征,为以前不可能的连续信号处理和机器学习方法铺平了道路。本文研究了使用正弦激活函数的 INRs 在傅里叶理论方面的工作,并展示了与正弦函数相比,使用小波作为激活函数的优势,因为它们能够同时在频率和空间上进行本地化。我们在这项工作中探讨了这种 INRs,并演示了它们如何从 MLP 的第一层中进行粗糙逼近从而解析出信号的高频特征。这导致了多种 INR 架构设计的建议,包括使用复数小波,解耦低通和带通逼近以及基于所需信号奇点的初始化方案。
Oct, 2023
本文提出了 Conv-INR,这是第一个完全基于卷积的 INR 模型,相较于现有的基于多层感知机的 INR 模型,Conv-INR 具有更好的表示能力和可训练性,同时能够有效地学习邻近坐标和高频组成部分。通过广泛的实验验证了 Conv-INR 在图像拟合、CT/MRI 重建和新视角合成等四个任务中明显优于现有的基于多层感知机的 INR 模型,而且在不引入额外推理成本的情况下,还提出了三种进一步增强 vanilla Conv-INR 性能的重新参数化方法。
Jun, 2024
通过引入可学习的空间掩码,将不同频率的傅里叶基函数有效地分配给各个区域,从而实现傅里叶拼贴,并能对复杂信号进行准确表示,该方法在各种 INR 任务中的实验表明,相较于现有基线模型,其重构质量更高,如图像拟合 PSNR 提高了 3dB 以上,3D 重建达到了 98.81 的 IoU 和 0.0011 的 Chamfer 距离。
Dec, 2023
基于隐式神经表示的 MRI 重建方法通过引入嵌入尺度的编码器和多层感知机 (MLP) 实现了对完全采样的 MRI 图像进行任意尺度的重建,相比其他重建方法,在公开 MRI 数据集上表现出更好的性能。
Sep, 2023
本文提出了 Poly-INR 模型,通过使用多项式函数来消除位置编码的限制,为生成建模任务在复杂领域中采用 INR 模型铺平了道路。Poly-INR 模型在像 ImageNet 这样的大型数据集上进行了定性和定量评估,并表现出与最先进的生成模型可比的性能,可消除卷积、规范化或自注意力层,具有更少的可训练参数。
Mar, 2023
利用神经网络将坐标输入映射到相应属性的隐性神经表示(INR)正在信号处理领域引起革命。然而,当前的 INR 技术在调整其支持的频率集方面存在局限性,导致在表示具有多个频率的复杂信号时性能不完善。我们发现,通过引入变周期激活函数,可以大大缓解这个与频率相关的问题,并提出 FINER。通过在不同范围内初始化神经网络的偏置,选择变周期函数中具有不同频率的子函数进行激活。因此,FINER 的支持频率集可以灵活调节,从而提高信号表示性能。我们在二维图像拟合、三维有向距离场表示和五维神经辐射场优化的背景下展示了 FINER 的能力,并证明它优于现有的 INR。
Dec, 2023
提出了一种改进了隐式神经表示(INR)的重构质量的新型位置编码方法,该嵌入方法在紧凑数据表示方面具有更大数量的频率基础,并在压缩任务中不引入任何额外复杂度的情况下,在速率失真性能和新视角合成的重构质量方面取得了显著的增益。
Nov, 2023
隐式神经表示(INR)已成为计算机视觉和计算成像中解决反问题的强大工具。在线性反问题背景下,我们研究了使用单隐藏层 ReLU 激活和傅里叶特征层的广义权重衰减正则化方法,来从低通傅里叶系数恢复连续域图像的采样要求,验证了我们的理论,并展示了 INR 在超分辨恢复更实际的连续域幻影图像上的性能。
May, 2024
本文利用隐式神经表示技术分析了时间序列数据的表示问题,并提出了一种基于傅里叶变换的损失函数来指导网络训练的超网络结构,用于生成时间序列数据。我们证明了这个方法可以用于时间序列数据的扩充与生成,并且在此领域达到了最先进的方法的水平。
Aug, 2022
通过使用超参数化的多层感知器(MLP)和非参数化教学角度,我们研究了隐式神经表示(INR)的学习。我们提出了一种名为隐式神经教学(INT)的范式,将 INR 学习视为一个非参数化的教学问题,通过选择信号片段进行迭代训练以实现快速收敛,在各种输入模态下展示了 30%以上的训练时间节约。
May, 2024