深度神经网络的采样权重

Jun, 2023

Sampling weights of deep neural networks

Erik Lien Bolager, Iryna Burak, Chinmay Datar, Qing Sun, Felix Dietrich

TL;DR我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数，通过玩具模型和实际数据集的实验，证明了我们构造的采样网络是普适逼近器，并且采样框架对于输入数据的缩放和旋转是不变的，这意味着许多流行的预处理技术不再需要。

Abstract

We introduce a probability distribution, combined with an efficient sampling algorithm, for weights and biases of fully-connected neural networks. In a supervised learning context, no iterative optimization or gr

neural networks sampling algorithm supervised learning universal approximators transfer learning

发现论文，激发创造

基于采样技术的深度神经网络训练方法在计算资源有限情况下的可拓展性评估

本文通过在大规模 CPU 机器上评估近似矩阵乘法的两种采样方法，提供了负面的理论分析，这表明前馈逼近是可扩展性的障碍。作者指出基于哈希的节点选择方法不能扩展到大量层数，并确定了未来研究的方向。

Jun, 2023

DeepSample：基于 DNN 的操作准确性评估测试

通过概率抽样，研究了五种新的基于抽样的测试技术以及其他三种先进技术，以实现对深度神经网络在运行中准确度的忠实和高置信度估计，从而降低成本。

Mar, 2024

通过高效的非参数替代品实现深度学习的自适应采样

通过使用非参数核回归进行采样，我们提出了一种新颖的采样分布，它能够在神经网络训练过程中学习到有效的重要性评分。我们的采样算法在墙钟时间和准确性上优于基准算法。

Nov, 2023

轻量级概率深度网络

本文介绍了两种轻量级的方法，使具有概率性的深层网络的监督学习变得实用，首先，我们建议使用分类和回归的概率性输出层，其对现有网络只需进行最小的更改，其次，我们使用假设密度过滤（assumed density filtering）并展示如何将激活不确定性以实用的方式传播到整个网络中，这两种概率性网络保留了确定性网络的预测能力，但产生与其预测引起的经验误差相关的不确定性。

May, 2018

WSNet: 通过权重采样实现紧凑高效的神经网络

WSNet 是一种用于学习紧凑高效的深度神经网络的新方法和新架构，其通过采样可学习参数的紧凑集合来促进参数共享，并考虑应用在音频分类方面，实验证明此方法可以更有效地学习与基准相比卷积滤波器数量相等但更小的网络，并且在权重量化的情况下，所得模型的尺寸理论上可缩小至 16 倍，速度可提升至 180 倍，但无明显性能降低。

Nov, 2017

利用样本网络估算回归预测分布

本文介绍了 SampleNet，它是一个灵活和可扩展的架构，用于模拟深度神经网络预测的不确定性，并通过使用 Energy 分数学习样本以及 Sinkhorn 散度进行正则化来定义经验分布。在大规模真实世界的回归任务中，SampleNet 具有较好的适应性并且优于基线模型。

Nov, 2022

稀疏连接深度神经网络的最优逼近

本文提出了深度神经网络的可连接性和内存需求的基本下限，同时证明了其实现方式适用于广泛的函数类。此外，研究表明，广义仿射系统内的全局极优逼近问题可以通过神经网络得到最优解，并通过数值实验验证了随机梯度下降算法能够学习出近乎最优的函数逼近。

May, 2017

通过神经网络近似空间的采样复杂度界证明深度学习中理论与实践之间的差距

该论文研究了基于点采样的（确定性或随机）算法的计算复杂度，用于逼近或积分可以用神经网络很好地逼近的函数，这些算法（最突出的是随机梯度下降及其变种）在深度学习领域被广泛应用。我们证明了在一个新颖的神经网络逼近空间类上实现理论上可证明的神经网络逼近速率的问题是困难的，从而验证了深度学习中理论和实践之间存在的差距。同时，我们还表明了具有可比收敛阶的逼近速率在理论上（至少可以）实现。

Apr, 2021

浅层和深度学习的改进 Dropout

本研究提出使用多项式抽样的退役方法，并分析了使用多项式退役的浅层学习。通过最小化风险界中的采样相关因子，我们获得了基于分布的退役，用于处理深度学习中的神经元演化问题，进一步提出了一种名为 “进化退役” 的自适应退役，以从小批量示例即时计算采样概率。实证研究表明，与标准的退役相比，所提出的退役不仅实现了更快的收敛速度，而且在预测性能和收敛速度上都有超过 10％和 50％的相对改进。

Feb, 2016

深度图神经网络与浅层子图采样器

本研究提出了一种 “深 GNN，浅采样器” 设计规则，通过利用深层次的 GNN 在一个浅层、局部的子图内传递信息，避免了在全局范围内过度平滑和邻域爆炸的问题，从而提高了 GNN 的准确性和效率。通过采用各种子图采样算法和神经架构扩展，研究人员在最大的公共图形数据集上取得了最先进的准确性，同时大幅减少了硬件成本。

Dec, 2020