Nov, 2022

光谱正则化：序列建模的归纳偏置

PDF
TL;DR本文介绍了一种基于 Chomsky 层次的直观简洁性概念，利用 Hankel 矩阵的跟踪范数作为频谱正则化器的高级模型，并提出了一种偏袒随机估计器以应对 Hankel 矩阵是双无限的事实，最终证明了频谱正则化在 Tomita 语法上的潜在优势以及提议的随机估计器的有效性。
spectral regularizationsequence modelinghankel matrixchomsky hierarchytomita grammars
发现论文，激发创造
  • 逆问题的学习正则化：来自光谱模型的洞见

    本文旨在基于理论提供对于反问题的先进学习方法进行研究，探讨正则化方法及其收敛性的广义定义，该定义可以为未来的理论研究铺平道路。在基于先前用于监督学习的简单光谱学习模型的基础上，我们研究了适用于反问题的不同学习范式的关键属性，这些属性可以独立于具体的体系结构进行阐述。特别是，我们研究了正则化性质、偏差以及对训练数据分布的关键依赖。此外，我们的框架允许突出和比较不同范式在无限维限制条件下的特定行为。

    Dec, 2023

  • 通过谱神经网络和非线性矩阵感知实现隐式正则化

    通过对带有非线性激活函数的神经网络在矩阵感知问题中的隐性正则化现象的研究，我们引入了一种名为 “光谱神经网络（SNN）” 的网络架构，该架构在矩阵学习问题上具有更好的可解释性，通过数学保证和实证研究验证了其有效性。我们相信 SNN 架构在广泛的矩阵学习场景中具有潜在的适用性。

    Feb, 2024

  • 深度神经网络中权重矩阵的重尾正则化

    通过随机矩阵理论，提出了一种名为 “Heavy-Tailed Regularization” 的正则化技术，此技术优化了神经网络的权重矩阵，使其有更重的尾巴，并提升了网络的泛化能力。对比传统的正则化方法，实验结果证明这种新方法在泛化效果上更优秀。

    Apr, 2023

  • 用谱范数正则化来提高深度学习的普适性

    本研究通过对输入扰动的敏感性来研究基于深度学习的泛化能力，提出了一种简单而有效的正则化方法 —— 谱范数正则化，试验结果证实其比其他基准方法更具有泛化性能。

    May, 2017

  • 自适应松弛谱正则化贝叶斯矩阵完成

    基于对称正则化的贝叶斯矩阵补全方法，无需参数调整即可自动推断潜在因子数量。在合作过滤中表现良好。

    Dec, 2015

  • 光谱学习中汉克尔矩阵的无维度集中界

    本文通过提供一些新的用于 Hankel 矩阵的无维度的集中度界限的方案，增强了已有的含量界限，以探讨权重自动机这个概念。我们测试了这个界限并发现他们对于已有的界限相比，表现要好得多。

    Dec, 2013

  • 一种可扩展的 Walsh-Hadamard 正则化器，以克服神经网络的低阶谱偏倚

    研究神经网络中的频谱偏差问题，提出一种新的可扩展的函数正则化方案，以帮助神经网络学习更高阶的频率，并对四个不同的数据集进行了广泛的评估，显示相对于标准神经网络和其他基线方法显著提高了推广性。

    May, 2023

  • 稳态时间序列贝叶斯结构学习

    本文基于贝叶斯方法提出一种基于时间序列的图结构学习方法，将先验概率分别置于图形结构和基于图形的光谱矩阵上。该方法可避免对复杂光谱矩阵本身的推论，并获得一组基于时间序列的被称为零阶的条件独立关系，使得我们可以使用标准结构学习框架进行有效的时间序列图推理。

    May, 2015

  • 神经网络的谱间隔正则化

    介绍一种基于 Fiedler regularization 和图谱结构信息的神经网络正则化方法，应用于节点嵌入学习，通过实验验证其有效性和可行性。

    Apr, 2023

  • 正则化对谱聚类的影响

    通过对随机块模型和其延伸的研究，我们表明，通过正规化可以显著提高谱聚类的性能，并且证明了利用正规化参数估计的数据驱动技术 DKest 可以很好地应用于实际数据集和仿真数据集。

    Dec, 2013