稀疏谱培训与欧几里得和双曲神经网络上的推理

May, 2024

稀疏谱培训与欧几里得和双曲神经网络上的推理

Sparse Spectral Training and Inference on Euclidean and Hyperbolic Neural Networks

Jialin Zhao, Yingtao Zhang, Xinghang Li, Huaping Liu, Carlo Vittorio Cannistraci

TL;DR稀疏频谱训练（Sparse Spectral Training，SST）是一种先进的训练方法，通过更新网络权重的奇异向量并选择性更新奇异值，优化资源使用，同时紧密逼近全秩训练。SST 通过采用由奇异值显著性加权的多项式抽样方法来确定奇异向量的有针对性更新策略，提高训练性能并减少内存消耗，从全面测试中证明其胜过现有的内存减少训练方法，在某些情况下与全秩训练相媲美。这种方法为传统训练技术提供了一种强有力的替代方案，为更高效和可扩展的神经网络训练解决方案铺平了道路。

Abstract

The growing computational demands posed by increasingly number of neural network's parameters necessitate low-memory-consumption training approaches. Previous memory reduction techniques, such as Low-Rank Adaptat

neural network low-memory-consumption training sparse spectral training memory reduction training methodology

发现论文，激发创造

光谱神经网络：近似理论与优化景观

机器学习中的光谱几何信息提取是一种基于传统特征值解算器的大量方法之一，而为了应用于在线大数据场景，研究人员提出了 Spectral Neural Network (SNN) 作为一种替代方法，本文探索了 SNN 的关键理论方面，包括神经元数量和光谱几何信息学习量之间的权衡以及 SNN 的优化过程。

Oct, 2023

SLTrain：一种用于参数和内存高效预训练的稀疏低秩方法

通过在预训练中将权重参数化为低秩和稀疏矩阵之和，我们提出了一种称为 SLTrain 的方法，它通过矩阵分解学习低秩部分，然后使用随机固定支撑稀疏学习策略学习非零条目，这种策略显著提高了预训练性能。与低秩参数化预训练相比，SLTrain 几乎没有额外的参数和内存开销，但实现了与完全秩训练相当的性能。当与量化和逐层更新相结合时，SLTrain 可以将内存要求降低高达 73%。

Jun, 2024

双核重任：通过语义和拓扑意识增强图稀疏训练

图稀疏训练（GST）提出了一种动态调整数据层稀疏度的方法，通过 Equilibria Sparsification Principle 来实现拓扑和语义信息的平衡，从而产生一个具有最大拓扑完整性且没有性能下降的稀疏图。

Feb, 2024

通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

Apr, 2020

自私稀疏循环神经网络训练

本文提出了一种可以在单次训练中固定参数数量的内在稀疏 RNNs 训练方法，利用非均匀分配细胞门的方法实现更好的正则化，并通过一种新型的平均随机梯度优化器 SNT-ASGD 提高了训练性能，在 Penn TreeBank 和 Wikitext-2 数据集上实现了优于 dense-to-sparse 方法的最新稀疏训练结果。

Jan, 2021

利用正交性训练低秩神经网络

该研究通过分析神经网络在训练过程中的权重的奇异值分解 (SVD) 来探究神经网络的学习动力学。我们的调查发现，每个多维权重的 SVD 表示中存在一个正交基，在训练过程中保持稳定。基于此，我们介绍了一种新的训练方法，即利用神经网络的内在正交性的 Orthogonality-Informed Adaptive Low-Rank (OIALR) 训练。OIALR 可以无缝地集成到现有的训练工作流中，且准确度损失最小，通过在各种数据集和经典网络架构上进行基准测试也得以证明。通过适当的超参数调整，OIALR 可以超越传统的训练设置，包括最先进的模型。

Jan, 2024

通过谱神经网络和非线性矩阵感知实现隐式正则化

通过对带有非线性激活函数的神经网络在矩阵感知问题中的隐性正则化现象的研究，我们引入了一种名为 “光谱神经网络（SNN）” 的网络架构，该架构在矩阵学习问题上具有更好的可解释性，通过数学保证和实证研究验证了其有效性。我们相信 SNN 架构在广泛的矩阵学习场景中具有潜在的适用性。

Feb, 2024

鲁棒图神经网络的频谱对抗训练

本文提出 Spectral Adversarial Training （SAT），基于频谱分解的简单但有效的对抗训练方法，用于提高图神经网络（GNN）对抗攻击的鲁棒性，实验结果表明 SAT 显著提高了 GNN 对抗攻击的鲁棒性，而不影响分类准确性和训练效率。

Nov, 2022

SpectralNet：使用深度神经网络进行谱聚类

本篇论文提出了一种名为 SpectralNet 的深度学习方法，通过在大量的未标注数据上训练，将输入的数据转换为与其相连的图拉普拉斯矩阵的特征空间的向量，并成功地应用于谱聚类，实现了对谱聚类中可扩展性以及广义化转化的双重突破。

Jan, 2018

稀疏低秩的预训练语言模型适应

在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高 LoRA 的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA 在保留 70% 参数和训练时间的情况下，能够胜过其他基准模型。

Nov, 2023