Jun, 2020

傅里叶特征：让网络在低维度域中学习高频函数

PDF
TL;DR通过将输入点通过简单的傅里叶特征映射传递，使得多层感知机（MLP）能够学习低维问题领域中的高频函数。研究结果对计算机视觉和图形学领域中使用 MLP 表示复杂 3D 对象和场景的最新进展提供了启示。通过神经切比雪夫核（NTK）文献中的工具，我们展示了标准 MLP 在理论和实践中都无法学习高频的结论。为了克服这种频谱偏差，我们使用傅里叶特征映射将有效的 NTK 转换为带有可调节带宽的平稳核。我们提出了一种选择问题特定的傅里叶特征的方法，极大地提高了 MLP 在与计算机视觉和图形学相关的低维回归任务中的性能。
fourier feature mappingmultilayer perceptronneural tangent kernellow-dimensional regression taskscomputer vision
发现论文，激发创造
  • 频域多层感知机在时间序列预测中的更高学习能效

    将 MLP 应用于频域的时间序列预测方法称为 FreTS，并在 13 个真实世界基准测试中展现出与现有方法相比的显著优势。

    Nov, 2023

  • 神经傅立叶滤波器组

    该文提出了一种利用神经场和傅里叶特征编码对信号进行空间和频率分解的方法，并通过多层感知机逐层累积高频部分，以形成最终输出的有效高精度重建方法，试验表明该方法在二维图像拟合、三维形状重建和神经辐射场等多个任务上效果优于现有方法，且模型更加紧凑高效。

    Dec, 2022

  • 克服神经价值近似的光谱偏差

    本文探讨了如何通过使用复合神经切向核的傅里叶特征网络来克服多层感知器和神经核回归中存在的高频率成分拟合所需的步骤数指数级增加的问题，以提高深度增强学习的效率和稳定性，并取得了令人瞩目的实验结果。

    Jun, 2022

  • 通过学习的傅里叶特征对强化学习进行功能正则化

    本文提出了一种基于傅里叶基的深度强化学习简单架构，通过理论和实验探究，发现学习傅里叶特征可以调整网络欠拟合和过拟合的程度，从而提高强化学习的性能和稳定性。

    Dec, 2021

  • 从回归到物理启发式神经网络的多尺度偏微分方程求解的傅里叶特征网络中的特征向量偏差

    本研究采用神经切向核理论观察了物理知识指导神经网络的局限性，并通过构建新的体系结构使用时空和多尺度随机傅里叶特征，成功解决了波传播、反应扩散动力学等多尺度问题。

    Dec, 2020

  • 频率原理：傅里叶分析揭示深度神经网络

    本研究从傅里叶分析的角度研究了深度神经网络（DNNs）的训练过程，并提出了一种非常通用的频率原理（F-Principle），即 DNNs 通常从低到高频率拟合目标函数，在常用激活函数的规律性的影响下表现出异于传统迭代数值方案的行为。这种 F-Principle 说明 DNNs 有一个隐含的偏差，即倾向于通过低频函数来拟合训练数据，从而提供了 DNNs 在大多数实验数据集上的良好泛化能力和在奇偶函数或随机数据集上的较差泛化能力的解释。

    Jan, 2019

  • 预训练的大型语言模型使用傅里叶特征计算加法

    该研究表明，预训练的大型语言模型使用傅里叶特征进行数字加法，其中 MLP 层主要利用低频特征近似答案的幅度，而注意力层主要利用高频特征进行模块化加法（例如计算答案是奇数还是偶数）。预训练对此机制至关重要，从头开始训练的模型只利用低频特征，导致准确性较低。引入预训练的标记嵌入到随机初始化的模型中可以提高其性能。总的来说，我们的分析表明，适当的预训练表示（例如傅里叶特征）可以为 Transformer 学习算法任务的精确机制。

    Jun, 2024

  • 计算机视觉模型的傅里叶敏感性和正则化

    本研究通过一种可靠的方法，研究了深度神经网络的频率敏感特性并提出了一种傅里叶正则化框架来改善模型的鲁棒性。

    Jan, 2023

  • 神经网络的频谱偏差

    通过傅里叶分析的工具，表明深度 ReLU 网络偏向于低频函数，且随数据流形复杂性的增加，学习高频函数变得更容易，但参数扰动会影响频率成分的鲁棒性和精确表达。

    Jun, 2018

  • FAMLP: 一种面向领域泛化的频率感知 MLP-Like 架构

    提出了一种新颖的基于自适应傅里叶滤波器层和低秩增强模块的多层感知器结构，以提高 MLP 模型的领域适应性，实现了比其他方法更好的泛化性能。

    Mar, 2022