基于采样技术的深度神经网络训练方法在计算资源有限情况下的可拓展性评估

Jun, 2023

基于采样技术的深度神经网络训练方法在计算资源有限情况下的可拓展性评估

Sampling-Based Techniques for Training Deep Neural Networks with Limited Computational Resources: A Scalability Evaluation

PDF

Sana Ebrahimi, Rishi Advani, Abolfazl Asudeh

TL;DR本文通过在大规模 CPU 机器上评估近似矩阵乘法的两种采样方法，提供了负面的理论分析，这表明前馈逼近是可扩展性的障碍。作者指出基于哈希的节点选择方法不能扩展到大量层数，并确定了未来研究的方向。

Abstract

deep neural networks are superior to shallow networks in learning complex representations. As such, there is a fast-growing interest in utilizing them in large-scale settings. The training process of neural netwo

deep neural networks training matrix multiplication sampling-based techniques scalability

发现论文，激发创造

使用近似张量运算加速神经网络训练

通过对张量运算（矩阵乘法和卷积）应用基于样本的近似，提出了一种用于深度神经网络加速训练的新技术。应用到 MLP 和 CNN 网络的 MNIST，CIFAR-10 和 ImageNet 数据集的训练实验结果表明，该方法可以大幅度减少计算量和通讯量，并以不会对最终测试准确率产生可感知影响的方式提升训练速度。

May, 2018

基于随机哈希的可扩展可持续深度学习

提出了一种基于哈希的新技术，通过只处理少量的节点来显著降低训练和测试深度神经网络的计算成本，该算法只使用了原始模型总乘法数的 5％，同时保持平均精度在 1％以内，其更新始终是稀疏的，使得算法非常适合异步和并行训练，端到端实验展示了该算法的可扩展性和可持续性。

Feb, 2016

深度神经网络的采样权重

我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数，通过玩具模型和实际数据集的实验，证明了我们构造的采样网络是普适逼近器，并且采样框架对于输入数据的缩放和旋转是不变的，这意味着许多流行的预处理技术不再需要。

Jun, 2023

DeepSample：基于 DNN 的操作准确性评估测试

通过概率抽样，研究了五种新的基于抽样的测试技术以及其他三种先进技术，以实现对深度神经网络在运行中准确度的忠实和高置信度估计，从而降低成本。

Mar, 2024

通过神经网络近似空间的采样复杂度界证明深度学习中理论与实践之间的差距

该论文研究了基于点采样的（确定性或随机）算法的计算复杂度，用于逼近或积分可以用神经网络很好地逼近的函数，这些算法（最突出的是随机梯度下降及其变种）在深度学习领域被广泛应用。我们证明了在一个新颖的神经网络逼近空间类上实现理论上可证明的神经网络逼近速率的问题是困难的，从而验证了深度学习中理论和实践之间存在的差距。同时，我们还表明了具有可比收敛阶的逼近速率在理论上（至少可以）实现。

Apr, 2021

少乘法的神经网络

研究二值化训练和量化方法在神经网络训练中的应用，通过在 MNIST、CIFAR10、SVHN 三个数据集上的实验证明，这种方法不仅不会降低分类性能，反而可以实现比标准随机梯度下降训练更好的性能

Oct, 2015

可扩展的 Inception 图神经网络 (SIGN)

本文提出了一种新的、高效且可扩展的图深度学习架构，通过使用不同尺寸的图卷积滤波器，绕过了图采样的必要性，从而允许极快速的训练和推理，同时在比对测试中展现了与其他最先进架构相竞争的表现，对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。

Apr, 2020

深度学习逼近：零样本神经网络加速

本研究针对生产系统中的计算和内存需求问题，提出一种 Deep Learning Approximation 技术，通过对网络结构和系数进行操作，而不需要重新训练或获得训练数据，从而构建出快速网络。该技术通过应用一系列独立的优化来降低正向传递所需的 FLOPs，其中包括无失真的优化和使用奇异值分解和低秩矩阵分解的有损近似。该研究通过对 PASCAL VOC 2007 数据集中的 YOLO 网络进行测试，证明了这种方法可以在不降低相对准确性的情况下，在网络正向传递中实现 2 倍的加速。

Jun, 2018

具有大输出空间的深度网络

本文提出了一种快速局部敏感哈希技术以近似实际点积，使我们能够将训练和推理扩展到数百万个输出类，并在三个不同的大规模识别任务上验证了我们的方法，表明与基线方法相比，我们的方法能以更快的速度（以步骤 / 总时间为单位）训练大规模模型。

Dec, 2014

神经网络协同过滤的采样策略

本论文提出了一种基于神经网络的推荐框架，该框架可以包含用户 - 物品交互信息和多种内容信息，提出了三种新的采样策略来改善框架的训练效率和推荐性能，并对计算成本和收敛性进行了理论分析。

Jun, 2017