- GridPE: 基于网格细胞启发框架统一位置编码的 Transformer 算法
通过傅立叶分析和计算神经科学的最新发现,本研究引入一种新颖的位置编码方案,受到网格细胞的启发,利用嵌入到金字塔视觉变换器架构中的 GridPE 技术,提供了一个在任意高维空间中进行位置编码的统一框架,并在转换器的性能上显著提高表现。
- 从傅立叶到神经常微分方程:用于建模复杂系统的流匹配
采用傅里叶分析为基础的无需模拟的神经常微分方程框架,在复杂系统的动力学建模方面表现出色。
- 通过降低频率空间从被后门污染数据集中获得清洁语言模型
本研究通过傅立叶分析探讨了被污染数据集上的后门语言模型在频率空间中的学习机制,发现后门映射对较低频率的倾向更加明显,导致后门映射收敛更快。为了缓解这一问题,我们提出了多尺度低秩自适应 (MuScleLoRA) 方法,通过在频率空间中进行多个 - 频域中的时间序列扩散
傅里叶分析和扩散模型之间存在重要的协同关系,通过在频域表示时间序列,频率扩散模型能更好地捕捉训练分布,进行了经验证实的评估。
- 关于使用带位置编码的 MLP 学习 SDF 的最佳采样
通过傅立叶分析的方法,我们提出了一种简单而有效的估算具有随机权重的神经网络的固有频率的方法,并根据此频率的奈奎斯特 - 香农采样定理,确定了适当的训练采样率。通过使用我们的采样策略训练具有位置编码的多层感知机(MLP),我们证明其性能优于现 - 通过群表示学习对称的字典学习
本文从数学表示理论的角度研究了学习具有预先指定的变换不变性的字典的问题,并使用非阿贝尔傅里叶分析提出了算法有效实现了学习。通过将字典学习问题与物理域中的问题以及相关的计算问题联系起来,本文为我们提供了一种处理具有对称性的问题的新视角,使我们 - 基于骨架的动作识别中图卷积神经网络健壮性的傅里叶分析
本研究利用傅里叶分析探索了基于骨架的动作识别中图卷积神经网络的强健性和易损性,发现对抗训练是提高防御对抗攻击和常见损坏的实用方法,同时,它不能解释骨骼部分不完整性的易损性,这限制了傅里叶方法的应用。
- FACE:使用交叉熵傅立叶分析评估自然语言生成
通过实验结果,本文提出了一种计算机生成语言与人类自然语言之间相似性的新方法 FACE,该方法基于熵的周期性实证研究的结果,采用傅立叶分析和交叉熵等指标度量模型生成的语言与人类自然语言之间的相似性,并在计算效率和可解释性方面都表现优异。
- 傅里叶分析实现一致和真实的解释
该研究提出了一种称为真实解释的新概念,应用布尔函数的傅里叶分析来提供严谨的保证,以支持 ML 解释的 what-if 场景,并通过实验表明,与其他方法相比,我们的方法在各种半径大小的邻域中实现了 2 倍 - 50 倍左右的更低的解释误差。
- 傅里叶分析引导的网络剪枝:基于频率的抽签获胜
本文探讨基于傅里叶分析的 Magnitude-Based Pruning (MBP) 算法,在深度学习模型中进行网络压缩和模型设计,并提出了一种新颖的两阶段剪枝方法。实验结果表明,我们提出的基于傅里叶分析的 MBP 算法相比其他传统 MBP - 布尔函数分析
这本教科书是关于布尔函数分析的,通过傅里叶展开和其他分析手段研究布尔函数,旨在发展领域的基础并广泛概述其应用,可以作为工作研究人员的参考或一学期研究生课程的基础。
- ICLR网格细胞对有向动作的预测和泛化
利用傅里叶分析工具拓展了通过特定状态转移之间的网络格代码的特征向量泛化推广到任意平移不变有向转移结构的模型,并证明了其在路径整合、预测规划和方向感知等任务中的适用性.
- MM针对对抗攻击的带限制神经网络
使用傅里叶分析的方法研究了深度学习中对抗攻击和防御问题,发现神经网络的高频分量是其漏洞产生的重要原因,于是提出了一种简单的后验平均方法来平滑这些高频分量,使神经网络的鲁棒性得到了提高,可以有效地防御多种对抗攻击方法,且不会对原始图像产生显著 - 频率原理:傅里叶分析揭示深度神经网络
本研究从傅里叶分析的角度研究了深度神经网络(DNNs)的训练过程,并提出了一种非常通用的频率原理(F-Principle),即 DNNs 通常从低到高频率拟合目标函数,在常用激活函数的规律性的影响下表现出异于传统迭代数值方案的行为。这种 F - 用傅里叶分析理解深度学习中的训练和泛化
通过傅里叶分析,研究 DNN 训练的理论框架,解释了梯度下降法训练 DNN 经常赋予目标函数低频分量更高的优先级,小的初始化导致 DNN 具有良好的泛化能力,同时保留拟合任何函数的能力。这些结果进一步得到了 DNN 拟合自然图像、一维函数和 - 神经网络的频谱偏差
通过傅里叶分析的工具,表明深度 ReLU 网络偏向于低频函数,且随数据流形复杂性的增加,学习高频函数变得更容易,但参数扰动会影响频率成分的鲁棒性和精确表达。
- 一个稳健的 Khintchine 不等式,以及计算傅里叶分析和高维几何中最优常数的算法
本文针对傅里叶分析与高维几何中的一些经典问题做出了两个贡献,一个是证明了线性阈值函数最小傅里叶质量向量的一个下界,另一个则构建了一个算法来准确估算 Tomaszewski 常数。
- Radon 变换的支持定理和 Cramér-Wold 定理
本文介绍了 Cramér-Wold 定理的扩展,探讨了针对度量可能在原点附近具有无限质量的情况,以及测度序列的相应结果,展示了所施加的假设的锐利性,并说明注入 Radon 变换的数个工具和结果,探讨采用少量的分布理论和傅立叶分析使得 Rad