本文介绍在 Riemann 对称空间,例如双曲空间和对称正定矩阵流形上的神经网络,基于非紧致对称空间上的 Helgason-Fourier 变换框架,提出了一个全连接网络和其相关的 ridgelet 变换,覆盖了双曲神经网络 (HNN) 和 SPDNet 等特殊情况。
Mar, 2022
本文提出了一种基于波浪变换、线性非线性映射、平移不变性和形变稳定性的特征提取器,可以适用于不同的网络层,并且在网络深度增加时特征越来越具有平移不变性;同时,本文还建立了对带限函数、卡通函数和 Lipschitz 函数等信号类应用的变形敏感度边界。
Dec, 2015
本文介绍了一种名为 ridgelet 先验的正态分布方法,用以在贝叶斯神经网络中为参数施加有意义的先验分布,解决了该网络输出空间中的不确定性量化问题,并证明了 Bayesian 神经网络可以近似于某些正态分布,同时提供了有限样本大小错误界,证明了其普适性和适用性。
Oct, 2020
该文提出了一种利用神经场和傅里叶特征编码对信号进行空间和频率分解的方法,并通过多层感知机逐层累积高频部分,以形成最终输出的有效高精度重建方法,试验表明该方法在二维图像拟合、三维形状重建和神经辐射场等多个任务上效果优于现有方法,且模型更加紧凑高效。
Dec, 2022
定义和研究了(Lizorkin)分布的 Ridgelet 变换,建立了与 Radon 变换和小波变换的联系。
Jun, 2013
本论文研究了在球面上进行方差损失下的未知函数 f * 的学习问题,并研究了神经切向核模型和 Rahimi-Recht 的随机特征模型等两种流行的模型,以及核岭回归。同时,论文探讨了样本数量有限或由于关于度数和样本数的适当估计而未能实现最优化性能时的情况,以及核方法随机选取核函数时的情况。
Apr, 2019
该研究尝试从速率减少和(移位)不变分类的原理解释现代深度(卷积)网络,并提供了一种基于梯度优化方案的前向传播方法来构建网络,其中包括层级结构,线性和非线性操作以及参数。此方法还揭示和证明了深度网络早期阶段的多通道升级和稀疏编码的作用,正式强制分类为严格移位不变时,所得到的网络的所有线性操作自然成为多通道卷积。同时,该卷积网络训练所需的成本更低,学习效率更高。初步模拟和实验表明,即使没有任何反向传导训练,基于该理论构建的深度网络已经可以学习良好的判别表示。
本文研究了高维最小二乘回归中的最小 L2 范数(“无岭”)插值,并考虑了特征分布的两个不同模型:线性模型和非线性模型
Mar, 2019
本文提出了一种基于本地纹理估计器和隐式神经表示的图像变形方法,该方法通过局部纹理和坐标变换的局部可变雅各比矩阵来预测变形图像的傅里叶响应,同时也成功实现了对不同变换的泛化处理。
Jul, 2022
通过将输入点通过简单的傅里叶特征映射传递,使得多层感知机(MLP)能够学习低维问题领域中的高频函数。研究结果对计算机视觉和图形学领域中使用 MLP 表示复杂 3D 对象和场景的最新进展提供了启示。通过神经切比雪夫核(NTK)文献中的工具,我们展示了标准 MLP 在理论和实践中都无法学习高频的结论。为了克服这种频谱偏差,我们使用傅里叶特征映射将有效的 NTK 转换为带有可调节带宽的平稳核。我们提出了一种选择问题特定的傅里叶特征的方法,极大地提高了 MLP 在与计算机视觉和图形学相关的低维回归任务中的性能。
Jun, 2020