- ICMLReLUs 足以学习隐式神经表示
通过第二阶 B 样条小波的灵感，我们给深度神经网络 (DNN) 每一层的 ReLU 神经元引入一组简单的约束以修正其谱偏差，从而实现对各种隐式神经表示任务的有效使用。通过实验证明，与普遍观点相反，基于只包含 ReLU 神经元的 DNN 可以 - HOIN：高阶隐式神经表示
通过提出一种称为 High-Order Implicit Neural Representations (HOIN) 的通用框架，通过增强模型的表达能力和减轻频谱偏差，加速和优化逆问题的解决，HOIN 在大多数逆问题中实现了 1 到 3 d - 改进物理推断神经网络训练过程的锥形散射公式化的亥姆霍兹方程
通过物理信息神经网络（PINNs），本研究解决了连接两个半无限波导的入射波在节点处的散射问题。为了改善模型的学习能力，研究提出了亥姆霍兹边界值问题（BVP）的等效公式，利用了反向传播过程中传递的信息，从而增强和加速了 PINN 模型的训练过 - 使用注意力和卷积的参数化编码减轻神经偏微分方程求解器的频谱偏差
利用基于网格的编码器和卷积注意力网络解决复杂的偏微分方程系统，有效解决光谱偏差问题，提供更准确的解决方案。
- 比较两层神经网络的频谱偏差和鲁棒性：SGD 与自适应随机傅里叶特征
我们通过实验结果发现，训练算法选择引起了两层神经网络的两个关键差异。神经网络的谱偏倚是众所周知的，而谱偏倚对于训练算法的选择依赖则研究较少。我们的实验表明，自适应随机傅里叶特征算法（ARFF）相比于随机梯度下降优化器（SGD）可以产生更接近 - 神经场的坐标感知调制
提出了一种利用 MLPs 和 grid representations 的新方法，通过 Coordinate-Aware Modulation (CAM) 将 grid representations 注入 MLP 的中间特征来增强神经表示 - 构建零谱偏差的极限学习机
Spectral Bias 现象是在前馈人工神经网络（ANN）中观察到的，其中学习的函数的高频成分比低频成分收敛得更慢，这一现象在 ANN 中普遍存在。本研究验证了 ELMs 结构的可靠性，发现高斯过程谱偏差（SB）的理论假设是错误的，并实 - 一种可扩展的 Walsh-Hadamard 正则化器，以克服神经网络的低阶谱偏倚
研究神经网络中的频谱偏差问题，提出一种新的可扩展的函数正则化方案，以帮助神经网络学习更高阶的频率，并对四个不同的数据集进行了广泛的评估，显示相对于标准神经网络和其他基线方法显著提高了推广性。
- 上采样中的魔鬼：深度图像先验去噪中的简化架构决策
本研究从频率角度分析了 Deep Image Prior 中未经学习的上采样是 DIP 去噪现象的主要驱动力，因此提出了一种无需耗时搜索即可估算出每张图像适当的网络结构的方法，实验结果表明，估算出的网络结构在去噪和保留纹理细节方面比当前方法 - 基于深度学习的气候系统数字孪生的长期不稳定性：原因与解决方案
本文旨在解决数据驱动数字孪生模型长期稳定性的问题，揭示了任何深度学习结构中普遍的因果机制，即：谱偏差，并进一步阐明了如何通过深度学习理论和基本数值分析弥补这种偏差，提出了一种缓解此类不稳定性的方法，实现了气候系统的长期稳定数值模拟和准确的短 - CVPR无序不变的隐式神经表征
本研究通过对输入信号进行重新排列，提出了混沌不变的隐式神经表示（DINER）。DINER 通过将哈希表添加到传统的 INR 骨干网络中，将坐标投影到相同的分布中，在减轻频谱偏差的同时，提高了信号建模的表现力。
- 通过训练动态了解基于坐标的多层感知器的谱偏差
本研究通过梯度混淆，对基于坐标的多层感知器（coordinate-based MLP）中的谱偏差进行了研究，发现当表现能力受限时混淆程度增加，导致其收敛速度变慢，同时也发现了谱偏差降低时激活区域的特性。
- 物理信息神经网络在频谱范围和导数阶数上的收敛行为研究
该研究通过对不同频率、组合和方程的简单正弦函数进行一系列数值实验，发现在标准化条件下，具有任意阶微分方程的物理知情神经网络确实存在明显的谱偏差，并随微分方程的阶数而增加。
- Hadamard 乘积神经网络的外推与谱偏差：多项式网络研究
本文研究了神经网络训练动态和泛化界限的一个有力工具 —— 神经切向核（NTK），提出了有限宽度 NTK 理论在多项式神经网络中的应用，证明了在外推和特征偏差方面，多项式神经网络与标准神经网络的差异。
- 克服神经价值近似的光谱偏差
本文探讨了如何通过使用复合神经切向核的傅里叶特征网络来克服多层感知器和神经核回归中存在的高频率成分拟合所需的步骤数指数级增加的问题，以提高深度增强学习的效率和稳定性，并取得了令人瞩目的实验结果。
- ICLR多项式神经网络的谱偏差
本文探讨了多项式神经网络在图像生成和人脸识别方面的有效性，还研究了神经网络具有低频函数方面的谱偏向性，发现多项式神经网络可以通过引入乘法交互项加速学习，提供了设计架构和学习框架的新洞察。
- ICLR欠参数化神经网络中 MSE 梯度优化的隐含偏差
本篇论文研究神经网络在通过渐变流优化均方误差时在函数空间中的动态学习，证明了在参数不足的情况下，网络以特定的速率学习由神经切向核（NTK）决定的积分算子 T_K^∞的特征函数，从而展现了在参数不足的情况下的光谱偏置。
- 基于认证的对抗防御遇到了基于分布外的干扰：鲁棒性评估和简单基准
本文通过实验研究证实，基于随机平滑的认证方法对于最新的认证稳健模型在处理低频 OOD 数据（如天气相关干扰）时具有未知的脆弱性，提出了一种新的数据扩充方案 —— FourierMix，通过改善训练数据的光谱覆盖范围来消除认证稳健模型的光谱偏 - 关于测量和控制深度图像先验中的光谱偏差的研究
本文提出通过引入一种频谱偏差的测量方法，结合控制 Lipschitz 参数的卷积层和高斯参数的上采样层，可以改善深度图像先验在图像重建上的性能衰减问题，实验结果表明该方法在各种图像处理任务上比现有方法更具优势。
- CVPRZoom-to-Inpaint：具备高频细节的图像修复算法
本文提出一种将超分辨率应用于粗略重建输出并在高分辨率下进行细化，然后将输出缩小到原始分辨率的框架，以提高高频细节的重建效果，同时采用渐进式学习技术来辅助大空缺区域的训练，获得了比现有最佳方法更好的表现。