- 为何学习率能够传递?调和深度学习的优化与扩展限制
最近的研究表明,神经网络的宽度和深度对于所谓的丰富特征学习极限(μP 及其深层延伸)的缩放存在转移学习现象,从而降低了超参数调整的成本。本研究通过实证找到了学习率转移的实验证据,并得出结论,在 μP 及其深层延伸下,训练损失 Hessian - 流形热插值下高斯核化图拉普拉斯的特征收敛
研究随机采样的流形上的图拉普拉斯矩阵与 Laplace-Beltrami 算子的谱收敛,证明可以通过与流形热核进行卷积来构造近似的本征函数,从而实现本征值和本征向量的收敛,证明了多维数据中的收敛率和一些低本征值的点与 Dirichlet 形 - 基于模型辅助的深度神经网络源数量检测
利用深度神经网络和特征值方法识别具有相干和非相干源的信号中的源数,并证明其性能优于 AIC 和 MDL 方法。
- 通过抑制费舍尔信息矩阵的最大特征值来抵御对抗性攻击
提出一种通过抑制 Fisher 信息矩阵的最大特征值来防御对抗攻击的方案,添加 Fisher 信息矩阵的 trace 值到网络的损失函数中,通过实验验证其有效性和鲁棒性。
- KDD图卷积神经网络的稳定性和泛化性能
本文研究了图卷积神经网络在半监督学习环境下的算法稳定性及其一阶推论;通过分析单层 GCNN 模型的稳定性,导出其一般化保证,提出稳定性关于其卷积核最大绝对特征值的依赖规律,并说明产生保证所需的卷积核最大特征值与图大小无关,为设计保证的算法稳 - 特征值和广义特征值问题:教程
本文介绍了特征值和广义特征值问题的教程,包括所涉及的优化问题和机器学习中的示例,然后介绍了这两种问题的解决方案。
- PCA 重构误差的非渐近上界
文章研究 PCA 的重构误差,并证明了相关超额风险的非渐进上界。这些界限统一并改进了文献中的现有上界。特别地,它们在较小的特征值条件下提供了 oracle 不等式。这些界限揭示了超额风险与基于标准角度的子空间距离有明显差异。我们的方法基于经 - 随机正则图的局部半圆定理
研究了顶点数为 $N$,每个顶点度数为 $d$ 的 $d$-regular 随机图的谱特性,得出了这些图的距离谱特性与 Wigner 半圆律高度吻合,从而证明了所有特征向量的完全离散与量子唯一性吗的概率版本。
- 样本协方差矩阵最小特征值的下界
本研究推导了一个中心各向同性随机向量的样本协方差矩阵最小特征值的下界,即使对其构成部分没有强假设或无假设时也成立。
- 网络中自动社区检测的假设检验
本文提出了自动确定 Stochastic Blockmodel 所生成的图中聚类数的方法。通过剖析相应的邻接矩阵的主特征值限制分布并用于假设检验,提出了一个递归二分算法,该算法在真实世界的定量分类任务中表现优于现有概率模型,并且在未标记的网 - 多重网络中基于联系的社交传染
本文基于多重网络提出了一种基于接触的信息传播模型,分析了疫情式社会传染的临界点与最大特征值的关系,并在实际情况下应用该理论框架分析了信息传播。同时,指出当信息传播系统本质是多重时,使用不同层聚合而成的图会产生缺陷。
- 组合图上的 Paley-Wiener 空间采样
该研究在组合图上引入了 Paley-Wiener 空间的概念,并展示了通过唯一性集合来描述 Paley-Wiener 空间的函数。同时,还开发了一种利用 Hilbert 空间中框架思想来自唯一性集合重建 Paley-Wiener 函数的算法 - 多路谱分割和高阶 Cheeger 不等式
该论文研究了高阶重复本征值与稀疏割的关系,探讨了利用底部 k 个本征向量将顶点嵌入到 R^k 中,并应用几何考虑进行嵌入的聚类算法的理论基础,并证明了在所有图形中,存在一组大小不超过 2n/k 的集合,其扩展至多为 O (sqrt (λkl - 最大割和最小特征值
本研究提出了一种基于谱分割的近似算法,可以在多项式时间内解决 max cut 问题,并取得了高质量的结果。
- 高斯随机矩阵特征值的极值统计学
本文基于高斯正交、幺正及交叉矩阵集合,在精确计算了最大(最小)特征值偏离的概率后,证明了特征值均为正数(负数)的概率随着 N 的增大而下降,同时计算了特征值落在给定区间内的概率,以此推导出最大值和最小值特征值的联合概率分布并得出了特征向量密 - Alon 第二特征值猜想的证明及相关问题
本文研究随机 d - 正则图的第二特征值的概率问题,证明了 Noga Alon 的猜想,并计算了该概率在大多数情况下都以 1/n 的多项式速度衰减。
- 相关复杂网络中的疫情传播
研究了在存在节点连接相关性的复杂网络上流行病传播的动力学模型,对于马尔可夫复杂网络的情况,发现流行病阈值与连通性矩阵的最大特征值成反比例关系,该矩阵给出了具有连接 k 的节点到连接 k' 的节点的平均链接数,对相关生长网络模型的数值模拟支持 - 树上的信息流
研究了信息在树状网络中的传输,建立了一些二进制和 $ q $ 进制通道模型,并通过特征值的分析来估计其信息流量。
- 无标度网络的谱和特征向量
研究了有双向交互时的无标度网络的邻接矩阵的特征值和特征向量,发现其谱密度在中心附近呈指数衰减,并在两个端点处呈幂律长尾,最大特征值随系统大小呈 N 的 1/4 次幂,相应的特征函数强烈局限于度数最大的中心节点。同时发现质量间隙随系统大小的变