将语义先验编码到隐式神经表示的权重中
本文提出了 Conv-INR,这是第一个完全基于卷积的 INR 模型,相较于现有的基于多层感知机的 INR 模型,Conv-INR 具有更好的表示能力和可训练性,同时能够有效地学习邻近坐标和高频组成部分。通过广泛的实验验证了 Conv-INR 在图像拟合、CT/MRI 重建和新视角合成等四个任务中明显优于现有的基于多层感知机的 INR 模型,而且在不引入额外推理成本的情况下,还提出了三种进一步增强 vanilla Conv-INR 性能的重新参数化方法。
Jun, 2024
提出了一种新的通用的内隐神经表示(INR)框架,结合了 transformer 编码器和可感知局部性的 INR 解码器,显著优于以往的通用的 INR,并验证了局部感知潜变量在图像生成等下游任务中的有效性。
Oct, 2023
INCODE 是一种利用深度先验知识增强 INR 中正弦基准激活函数的控制的新方法,它通过调整激活函数的关键参数来优化表示过程,不仅在表示方面出色,而且在处理音频、图像、3D 形状重建以及神经辐射场(NeRFs)和逆问题(包括降噪、超分辨率、修复和 CT 重建)等复杂任务方面具有突出表现,从而拓宽了信号表示的范围。
Oct, 2023
利用隐式神经表示 (INRs) 以欧几里得空间的多层感知器 (MLP) 对图像进行参数化,有效地在信号中表示了在常规离散表示中看不到的耦合空间和频谱特征,为以前不可能的连续信号处理和机器学习方法铺平了道路。本文研究了使用正弦激活函数的 INRs 在傅里叶理论方面的工作,并展示了与正弦函数相比,使用小波作为激活函数的优势,因为它们能够同时在频率和空间上进行本地化。我们在这项工作中探讨了这种 INRs,并演示了它们如何从 MLP 的第一层中进行粗糙逼近从而解析出信号的高频特征。这导致了多种 INR 架构设计的建议,包括使用复数小波,解耦低通和带通逼近以及基于所需信号奇点的初始化方案。
Oct, 2023
基于隐式神经表示的 MRI 重建方法通过引入嵌入尺度的编码器和多层感知机 (MLP) 实现了对完全采样的 MRI 图像进行任意尺度的重建,相比其他重建方法,在公开 MRI 数据集上表现出更好的性能。
Sep, 2023
本文引入 HyperINR,一种新颖的超网络架构,通过利用多分辨率哈希编码单元的集合,直接预测一个紧凑的 INR 的权重,从而提高了 INR 的推理性能和支持交互式虚拟现实。
Apr, 2023
本文提出了 Poly-INR 模型,通过使用多项式函数来消除位置编码的限制,为生成建模任务在复杂领域中采用 INR 模型铺平了道路。Poly-INR 模型在像 ImageNet 这样的大型数据集上进行了定性和定量评估,并表现出与最先进的生成模型可比的性能,可消除卷积、规范化或自注意力层,具有更少的可训练参数。
Mar, 2023
该研究论文提出了一种能够通过基于坐标的子网络来构建神经隐式词典 (NID) 并代表内在神经表征的框架,通过优化结果能够更快地重建 2D/3D 图像并解决遮挡问题。
Jul, 2022
该文介绍了一种使用隐式神经表示和超网络获取图像的不变语义表示的方法,该方法可以在任意或随机旋转和平移的图像中获取方向不变的语义表示,并与 SCAN 结合,获得最新的无监督聚类结果。
Apr, 2023