Feb, 2023

超网构建音频的隐式神经表示

PDF
TL;DRHyperSound 是第一种利用超网络进行元学习的方法，用于生成适合于音频样本的 INRs，以解决现有方法难以应用于音频的局限性，提供了一种可行的代替深度神经网络中当前用于音频处理的声谱图表示方法，并且重新构建的音频样本质量可与其他最先进的模型相媲美。
implicit neural representationsinrsaudio processinghypersoundmeta-learning
发现论文，激发创造
  • HyperSound: 使用超网络生成音频信号的隐式神经表示

    本研究提出了一种基于超网络元学习的方法，用于生成未训练音频信号的隐式神经表示（INRs），并展示了其重建声波信号的优秀性能。

    Nov, 2022

  • HyperINR: 一种快速预测的超网络，通过知识蒸馏实现隐式神经表示

    本文引入 HyperINR，一种新颖的超网络架构，通过利用多分辨率哈希编码单元的集合，直接预测一个紧凑的 INR 的权重，从而提高了 INR 的推理性能和支持交互式虚拟现实。

    Apr, 2023

  • HyperTime: 时间序列的隐式神经表示

    本文利用隐式神经表示技术分析了时间序列数据的表示问题，并提出了一种基于傅里叶变换的损失函数来指导网络训练的超网络结构，用于生成时间序列数据。我们证明了这个方法可以用于时间序列数据的扩充与生成，并且在此领域达到了最先进的方法的水平。

    Aug, 2022

  • 基于隐式神经表示的形状深度学习

    本文介绍了 Implicit Neural Representations (INRs) 的概念，并提出了 inr2vec 框架作为一种有效的在深度学习流程中解决 INRs 表示的下游任务的方法。

    Feb, 2023

  • 元学习稀疏压缩网络

    本文介绍了一种新的数据表示方法 —— 隐式神经表示法，经过结构优化后，可以对比 JPEG 等传统压缩方法得到更好的压缩效果，并提出了 Meta-Learning 算法在压缩和学习隐式神经表示方面的改进方法，实现了在不同数据模态下的卓越表现。

    May, 2022

  • Siamese SIREN：使用隐式神经表示的音频压缩

    该研究介绍了一种新的基于 SIREN 架构的方法 ——Siamese SIREN。实验结果表明，与其他 INR 架构相比，Siamese SIREN 在利用更少的网络参数的情况下可以实现较高的音频重建保真度。

    Jun, 2023

  • 利用 Transformer 作为元学习器获取隐含神经表征

    使用 Transformer 作为超网络构建内隐神经表示，避免信息瓶颈和优化低效性，并在 2D 图像回归和 3D 对象视图合成等任务和领域中展示其有效性。

    Aug, 2022

  • 隐式神经表示的结构化词典视角

    该研究提出了一种新的统一视角来理论上分析隐式神经表示，揭示了其与结构化信号词典相似性，这种结构使得 INRs 能够使用深度线性增长的参数表达具有指数级频率支持的信号，并可以通过元学习来重新塑造 NTK，以进一步设计和调整 INRs 的体系结构。

    Dec, 2021

  • Conv-INR: 多模视觉信号的卷积隐式神经表示

    本文提出了 Conv-INR，这是第一个完全基于卷积的 INR 模型，相较于现有的基于多层感知机的 INR 模型，Conv-INR 具有更好的表示能力和可训练性，同时能够有效地学习邻近坐标和高频组成部分。通过广泛的实验验证了 Conv-INR 在图像拟合、CT/MRI 重建和新视角合成等四个任务中明显优于现有的基于多层感知机的 INR 模型，而且在不引入额外推理成本的情况下，还提出了三种进一步增强 vanilla Conv-INR 性能的重新参数化方法。

    Jun, 2024

  • INCODE: 具有先验知识嵌入的隐式神经调节

    INCODE 是一种利用深度先验知识增强 INR 中正弦基准激活函数的控制的新方法，它通过调整激活函数的关键参数来优化表示过程，不仅在表示方面出色，而且在处理音频、图像、3D 形状重建以及神经辐射场（NeRFs）和逆问题（包括降噪、超分辨率、修复和 CT 重建）等复杂任务方面具有突出表现，从而拓宽了信号表示的范围。

    Oct, 2023