- 大型语言模型中的信号处理
这篇论文介绍了将信号处理应用于大型语言模型 (LLM) 的想法,并通过将信号处理与大型语言模型的领域相结合,将它们联系起来。我们在 LLM 的每个中间激活信号中建立了经典傅里叶变换和傅里叶变换类似的可学习的时频表示之间的相似性。将每个激活信 - FourierMamba: 基于状态空间模型的 Fourier 学习集成在图像去雨上的应用
提出一种名为 FourierMamba 的新框架,利用 Mamba 技术在 Fourier 空间中进行图像除雨,通过在空间和通道维度中不同的设计,实现了频率信息的相关性以及通道信息的改进。
- 低光遥感图像增强的空域频率二重域特征融合网络
提出了一种用于低光遥感图像增强的双域特征融合网络 (DFFN),通过将振幅信息与相位信息分别学习来实现低光增强任务,同时通过信息融合亲和块在不同阶段和尺度上组合不同的数据,通过广泛的评估,证明该方法优于现有最先进方法。
- FreqMamba:从频域视角观察 Mamba 以进行图像去雨
FreqMamba 是一种利用图像去雨的有效且高效的方法,通过扩展 Mamba 与频率分析的结合来解决频率建模所涉及的全局降解感知问题,并且在图像去雨任务中展示出优于现有方法的视觉和定量性能。
- 用于高效视觉分类的 Spikformer 中傅立叶或小波基作为对应的自注意力
使用峰值傅立叶变换、小波变换及其组合替代传统的自注意力机制,提出了基于峰值或小波的 spikformer(FWformer),在视觉分类任务中验证并表明其能够达到可比甚至更高的准确性(0.4%-1.5%),更快的运行速度(训练速度提高 9% - SASQuaTCh:一种带有基于核的自注意力的新型变分量子变换器架构的学习
利用基于核操作学习的自我注意力机制的量子电路,我们提出了 Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh) 模型,该模型能够有效地表示视觉变换网络的深层特征, - FFAD:利用傅立叶变换和自编码器评估生成的时间序列数据的新型指标
通过使用傅里叶变换和自编码器,提出了一种新的评估基于深度学习生成的时序数据质量的方法,命名为 Fréchet Fourier-transform Auto-encoder Distance (FFAD),该方法展示了在区分不同类别样本方面的 - 基于 CLIP 傅里叶引导小波扩散的低光图像增强
通过 CLIP-Fourier Guided Wavelet Diffusion 方法的混合频率域空间,我们设计了一个通过小波变换实现有效图像增强的引导网络,能够恢复图像的细粒度结构并避免多样性混淆。经过大量定量和定性实验证明,我们的方法胜 - 用于去模糊变分自编码器的短时傅里叶变换
通过修改变分自编码器的重构项,引入傅里叶变换和局部相位一致性的损失函数,解决生成样本模糊性问题,并在 MNIST 数据集上提供了定性和定量结果。
- 基于空间频率融合的双域多曝光图像融合网络
通过空频积分框架 (Spatial-Frequency Integration Framework) 提出了一种新颖的多曝光图像融合方法 (MEF-SFI),通过有效利用频率域的整体光照建模能力,结合空间和频率路径的深度傅里叶变换方法,以及 - 学习的谐波:不变网络中出现普适的傅里叶特征
我们在这项工作中正式证明,在特定条件下,如果神经网络对于一个有限群是不变的,那么它的权重将恢复该群的傅里叶变换。这为傅里叶特征的出现提供了数学解释,傅里叶特征是生物和人工学习系统中普遍存在的现象。即使对于非交换群,这些结果仍然成立,此时傅里 - 解耦恶劣天气图像恢复中的退化与内容处理
介绍了一种名为 DDCNet 的新型逆风气象图像恢复方法,通过基于信道统计的特征级别对降解去除过程和内容重建过程进行分离,利用傅里叶变换在这两个过程中的独特优势,进而提高恶劣天气图像恢复的质量。
- 利用傅立叶变换进行状态序列预测的表示学习
通过 Fourier 变换,我们提出了 State Sequences Prediction via Fourier Transform (SPF) 方法,用于在时间序列数据中提取结构信息,以实现数据高效的 RL,实验证明该方法在样本效率和 - WFTNet:利用全局和局部周期性进行长期时间序列预测
本文提出了一种基于波尔均匀转换网络 (WFTNet) 的长期时间序列预测方法,WFTNet 利用了傅里叶和小波变换来提取信号中综合的时间频率信息,其中傅里叶变换捕捉全局周期模式,小波变换捕捉局部模式,此外还引入了一个周期性加权系数 (PWC - 量子神经网络和量子储备库的通用逼近定理和误差界
本文研究了经典神经网络的普适逼近定理在量子设置下的拓展,通过参数化量子电路近似传统函数,并提供精确的误差界,并将结果推广到模拟经典储备神经网络的随机量子电路。结果表明,一个具有 O (ε^-2) 个权重和 O (⌈log_2 (ε^-1)⌉ - 相位匹配用于样本外泛化
通过引入基于 Fourier 变换的结构性因果模型,本文旨在阐明领域泛化和频率组分之间的关系,将相位谱解释为半因果因素,将幅度谱解释为非因果因素。在多个基准测试中,通过对幅度谱进行扰动并建立空间关系来匹配相位组分,我们的方法在领域泛化和超出 - 基于简单自编码器的傅里叶变换法纹理缺陷检测
本研究采用简单的自编码器和傅里叶变换来进行纹理缺陷检测,将傅里叶变换与自编码器重构的模板相结合。通过分析频域以有效地检测纹理缺陷,实验证明了该方法在检测纹理缺陷方面的有效性和准确性,并与现有方法进行了比较。
- 四元数傅里叶变换及四元数卷积的矩阵形式
本论文研究四元数傅里叶变换和卷积运算的矩阵形式及其与标准离散傅里叶变换之间的关系,探讨四元数傅里叶变换矩阵与四元数循环矩阵(代表四元数卷积)的特征结构,给出了一个基于理论结果的方法来限制四元数卷积的谱范数。
- FreMAE: 傅里叶变换融合掩模自编码器用于医疗图像分割
本文提出了一种基于 MIM 的自监督预训练框架,使用傅里叶变换来整合全局和局部信息,进一步加入多阶段监督以指导预训练阶段的表示学习并在医学图像分割任务中获得了比之前最先进的 MIM 方法更好的性能。
- 傅里叶变换在神经时间序列分析中的应用:综述
本论文以傅里叶变换为基础,系统回顾了神经时间序列分析的最新研究进展,提出了一个四方面的分类学体系,并对一些新的研究方向进行了讨论。