奇异值表示:神经网络的新图形视角
本文提出一种基于张量的奇异值分解的方法,用于理解卷积层的动态过程和发现卷积特征之间的相关性,以及在图像分类网络中应用超图模型进行可解释性研究。
Aug, 2022
本研究提出了一种名为 SVD training 的神经网络压缩方法,通过正交性正则化和奇异值剪枝等技术,可以在训练过程中显式地实现降低矩阵秩的目标,从而更有效地减少 DNN 算法在低性能设备上的计算负担。
Apr, 2020
本文研究探讨卷积神经网络在人工智能领域的应用,并且探讨该类网络存在的问题和局限性,提出使用奇异值分解方法可以分析卷积神经网络中涉及到的非人类因素,从而对其产生作用的原因展开研究。同时提出了一种新的特征分配方法,建立了卷积神经网络的理论框架。
Dec, 2020
本文通过提出一种名为 Singular Value Bounding (SVB) 的简单而有效的方法,约束了整个深度神经网络训练过程中的权重矩阵解,使其满足正交可行集,并在基准图像分类数据集上进行试验,得出了令人满意的成果。
Nov, 2016
通过对 Graph Convolutional Networks 在推荐系统中的应用进行研究,提出了一种名为 SVD-GCN 的简化 GCN 学习的范例,并通过该方法仅利用 K 个最大奇异向量来提高推荐系统的性能,大幅度缓解了平滑问题。实验证明,该方法不仅显著优于现有技术,而且相对于 LightGCN 和 MF 分别实现了 100x 和 10x 的加速效果。
Aug, 2022
通过对标准 2D 多通道卷积层所关联的线性变换的奇异值的表征,我们能够有效计算它们。此表征还引导我们提出了将卷积层投影到算子范数球上的算法。我们证明了这是一种有效的正则化方法;例如,它将使用 CIFAR-10 数据集和批标准化的深度残差网络的测试误差从 6.2% 提高到 5.3%。
May, 2018
使用奇异向量规范相关分析(SVCCA)技术,研究神经网络对于指定问题的普适性,并在求解基于泊松偏微分方程的参数化边界值问题的神经网络中,发现第一层神经网络具有普适性,而更深层次的神经网络则更具有针对性。
Jun, 2018
该论文提出了一种基于 SVDNet 的人物再识别方法,通过优化深度表示学习过程并使用正交约束迭代训练,可以有效降低投影向量之间的相关性,并显著提高 re-ID 准确性。
Mar, 2017
基于低秩逼近特性的新型优化框架,通过学习前 L 个奇异值和奇异函数的正确顺序来提升所学函数的正交性,在计算物理和机器学习领域展示了提出的优化框架的有效性。
Feb, 2024
该研究介绍了单纯神经网络(SNNs),作为图神经网络在特殊拓扑空间,即单纯复合体上的一般化形式。这种新的神经网络结构,能够处理包括向量场或 n 重合作网络等更多元的数据,也定义了适当的卷积方式,并在合著关系复合体的数据丢失方面进行测试。
Oct, 2020