- 非对称数据的对称核函数:一个与数据无关的可学习性界限
利用高度理想化的数据测度所关联的特征值和特征函数,可以限制与现实数据上可学性相关的理论下界。作为示例,我们给出了与自然语言处理中的泛化变换器相关的核的复制头样本复杂性的理论下界。
- 高维分析揭示保守的锐化和随机稳定边缘
在全批量情况下,训练损失 Hessian 的大特征值动态具有某些显著稳定的特征。在随机设置中,特征值的增长速度较慢,我们称之为保守锐化。我们提供了一个简单的高维模型的理论分析来解释这种减速现象。我们还展示了随机稳定边界的替代解释,它在小批量 - AAAI用特征值修正提高谱图神经网络的表达能力
本论文观察到标准化拉普拉斯矩阵经常具有重复的特征值,因此对多项式滤波器的表达能力产生了限制,并提出了一种特征值校正策略来增强多项式滤波器的拟合能力和表达能力。实验结果表明,该方法在合成和现实世界数据集上具有明显的优势。
- 高维线性高斯波谱统计的样本协方差矩阵
OLS 方法的性能取决于样本协方差矩阵的负矩和特征值,在高维情况下,当稳定状态转移矩阵具有单个特征值且动力学来自稳定系统时,OLS 估计器会产生相位转变并呈现短暂性行为,迭代次数的增加只会加剧估计误差。
- 谱图神经网络调研
本文总结了谱图神经网络的最新发展,包括模型、理论和应用等方面的内容,其中介绍了谱性 GNN 能够捕捉全局信息,并具有更好的可表达性和可解释性。通过对现有谱性 GNN 的分析,本文梳理了主要理论结果和应用,最后进行了定量实验来评估几种常见的谱 - 基于 Koopman 不变子空间的非线性动态杆位置控制数据驱动端到端学习
本文提出了一种基于 Koopman 算符理论的数据驱动方法来控制黑盒非线性动态系统的频率和收敛速率,该方法利用一个策略网络来训练一个 Koopman 算符的特征值接近目标特征值,该策略网络由神经网络和极点配置模块组成,并使用增强学习以端到端 - ICML仅尾部重要:凸型区间中的平均情况普适性和鲁棒性
本文旨在研究最优化方法的平均情况分析,表明特定问题的演化行为与其特征值在谱分布边缘处的分布有关,该文也提出了一种广义切比雪夫方法,在特定前提下渐近优化,特别是,在平均情况下表现良好。
- 关于卷积神经切线和高斯过程核的谱偏差
通过它们各自的高斯过程和神经切向核,研究各种过度参数化的 CNN 架构的属性,并证明了这些核的特征值随着层级特征的组合而多项式地衰减
- 通过神经网络在组合数学中构造
利用强化学习算法 —— 深层交叉熵方法,我们可以找到若干个关于图论和组合学的猜想的证明和反例,包括了 Brualdi 和 Cao 提出的关于最大化某类矩阵永久值的问题,以及关于图的邻接和距离特征值的几个问题。
- 数据科学的谱方法:统计学视角
使用特征谱方法从现代统计的角度系统、全面且易于访问地介绍了一类从数据中构建矩阵,然后使用上述矩阵的特征向量(Singular vectors)和特征值(Singular values)进行数据分析的方法。特别地,我们围绕着多个中心问题来阐述 - 可变量量态本征求解器
本文介绍了一种名为变分量子态本征求解器 (VQSE) 的算法,用于在量子计算机上有效地计算出密度算子最大本征值及其对应的本征态。该算法利用了对角化和主支配之间的联系来定义代价函数,需单次迭代仅 单次复制密度算子,可以实现。作者还演示了两个该 - 神经网络的细粒度光谱分析
本文从谱的角度研究共轭内核(Conjugate Kernel,CK)和神经切向内核(Neural Tangent Kernel,NTK)的特性,分析它们的特征值,得出关于神经网络的初始化分布和训练、泛化特性等问题的新见解,并通过广泛的神经网 - 神经网络对不同频率学习函数的收敛速度
本研究探讨了神经网络学习函数的速度与频率之间的关系,发现在引入偏差项的情况下,浅层神经网络才能够学习和表示简单的低频函数,进一步实验与理论的结果支持了这一理论。
- 低秩特征值问题
矩阵乘积的非零特征值相等定理在矩阵计算的应用中有很大的优势,因为它可以用于计算低秩矩阵 AB 的特征值和特征向量,即求出矩阵 BA 的特征值和特征向量,从而得到原矩阵 AB 的特征值和特征向量。此外,本文还讨论了 Jordan 块在 AB - 网络态密度
本文探究了实际图形的频谱密度,并借用凝聚态物理学的工具及其适应性处理常见的图形模式的频谱签名。通过计算具有十亿边缘的图形的频谱密度来展示其高效性。同时,证明频谱密度的估计促进了许多常见的中心度量的计算,并使用频谱密度估计了有关图形结构的有意 - ICML矩阵幂均值在带符号图谱聚类中的应用
该研究提出了使用一种带有参数的拉普拉斯变换簇集算法来处理有正有负关系的图结构,并在多个模型中取得了比当前领先技术更好的聚类效果。
- 子空间鲁棒瓦热斯坦距离
本文针对高维离散量之间的 Wasserstein 距离提出了具有鲁棒性的 “Max-Min” 方案,通过将量投影到一个较低维的子空间来最大化它们之间的距离。此外,我们提出了一种基于熵正则化的算法来解决相关问题,并在实验中显示了其优越性。
- 核矩阵谱的相对浓度界限
本文研究了核矩阵特征值的集中性质,证明了这些集中不等式适用于各种核矩阵的特征值,特别是非正定核矩阵在网络分析中的应用。
- 对数凸多项式 II:高维随机游走和计算拟阵基数的 FPRAS
本篇论文设计了一种 FPRAS 来计算基于独立集先验的任何线性族的基数,估算处于 $0<q<1$ 区间的任何线性族的随机团模型的分区函数,并证明了任何线性族的基交换图具有至少 1 的扩张,并研究了纯单纯复合物和多项式的密切联系。
- 基于谱聚类算法检测块环和非块环图中的聚类
本文提出了两种基于特征值计算的分析有向图中节点间循环模式与非循环模式连接的光谱聚类算法,相比于当前的方法在实验中表现更好,并成功应用于食物链的分类和互联网服务提供商之间协议的层级结构的高亮显示