本文探讨了如何通过使用复合神经切向核的傅里叶特征网络来克服多层感知器和神经核回归中存在的高频率成分拟合所需的步骤数指数级增加的问题，以提高深度增强学习的效率和稳定性，并取得了令人瞩目的实验结果。

Jun, 2022

通过将输入点通过简单的傅里叶特征映射传递，使得多层感知机（MLP）能够学习低维问题领域中的高频函数。研究结果对计算机视觉和图形学领域中使用 MLP 表示复杂 3D 对象和场景的最新进展提供了启示。通过神经切比雪夫核（NTK）文献中的工具，我们展示了标准 MLP 在理论和实践中都无法学习高频的结论。为了克服这种频谱偏差，我们使用傅里叶特征映射将有效的 NTK 转换为带有可调节带宽的平稳核。我们提出了一种选择问题特定的傅里叶特征的方法，极大地提高了 MLP 在与计算机视觉和图形学相关的低维回归任务中的性能。

Jun, 2020

本研究通过一种可靠的方法，研究了深度神经网络的频率敏感特性并提出了一种傅里叶正则化框架来改善模型的鲁棒性。

Jan, 2023

使用随机傅里叶转换对核方法的学习过程进行风险分析，同时提出使用 Ridge 杠杆得分进行特征筛选的随机傅里叶转换方法，可大大降低计算成本。

Jun, 2018

通过在机器人轨迹的频域中提取和编码时变特征的短时傅里叶变换 (STFT)，傅里叶控制器网络 (FCNet) 实现了实时决策的并行训练和高效的循环推断，比传统方法如 Transformer 在各种大小的多环境机器人数据集上的效率和有效性更高。

May, 2024

本文提出了一种简单的循环神经网络架构，即傅里叶循环单元 (FRU)，它稳定了训练中出现的梯度，同时为我们提供了更强的表现能力。具体而言，FRU 使用傅里叶基函数概括了沿时间维度的隐藏状态 $h^{(t)}$，使得由于残差学习结构和三角函数的全局支持，梯度可以轻松地到达任何层。我们还展示了 FRU 具有与时间维度无关的梯度下限和上限，以及得到 FRU 强表现力的稀疏傅里叶基的优势。我们的实验研究还表明，与其他循环架构相比，所提出的架构在许多任务上具有更少的参数且表现更好。

Mar, 2018

深度神经网络具有自动从原始数据中学习相关特征的能力，但完全连接（FC）和卷积架构（CNN）中的特征学习方式不同。本研究通过理论和实验证明了有限宽度 FC 网络的泛化性能可以通过选择适当的高斯先验来获得无限宽度网络的结果，而具有卷积隐藏层的架构则展现出了一种不同的特征学习方式。

Jul, 2023

我们在这项工作中正式证明，在特定条件下，如果神经网络对于一个有限群是不变的，那么它的权重将恢复该群的傅里叶变换。这为傅里叶特征的出现提供了数学解释，傅里叶特征是生物和人工学习系统中普遍存在的现象。即使对于非交换群，这些结果仍然成立，此时傅里叶变换编码了所有不可约幺正群表示。我们的研究结果对于对称性探索问题具有重要意义。具体来说，我们证明了从至少在某些限制范围内是近似不变的网络的权重中，可以恢复未知群的代数结构。总体而言，这项工作为不变神经网络表示的代数学习理论奠定了基础。

Dec, 2023

介绍了一种基于功能正则化方法的强化学习中的高性能方案，可以相对于一个策略先验进行行为的规则化，进而获得偏差 - 方差的平衡来降低高方差的挑战，并通过自适应调整策略先验，保证稳定性和更高的学习效率

May, 2019

逆向强化学习是一种从专家示范中学习奖励函数的模仿学习方法，通过使用线性组合特征表示奖励，借助多项式基函数形成特征候选集来解决连续状态空间中特征选择的问题，并利用轨迹概率与特征期望之间的关联对特征进行选择，实验表明该方法能够恢复捕获专家策略的奖励函数，适用于越来越复杂的非线性控制任务。

Mar, 2024