Nov, 2023

通过高效的非参数替代品实现深度学习的自适应采样

PDF
TL;DR通过使用非参数核回归进行采样，我们提出了一种新颖的采样分布，它能够在神经网络训练过程中学习到有效的重要性评分。我们的采样算法在墙钟时间和准确性上优于基准算法。
data samplingneural networksimportance scoresstatic samplingdynamic sampling
发现论文，激发创造
  • 深度神经网络的采样权重

    我们引入了一种概率分布和高效的采样算法来处理神经网络中的权重和偏差参数，通过玩具模型和实际数据集的实验，证明了我们构造的采样网络是普适逼近器，并且采样框架对于输入数据的缩放和旋转是不变的，这意味着许多流行的预处理技术不再需要。

    Jun, 2023

  • 自适应采样在加速机器学习算法中的应用

    巨大数据时代需要高效的机器学习算法，本论文表明，通过使用一种特殊的随机替代品，可以在几乎不降低质量的情况下，代替计算密集型子程序。

    Sep, 2023

  • 高维非参数自适应重要性采样的加权样本变分自编码器

    使用加权样本进行概率密度函数估计是所有自适应重要性采样算法的主要基础。本文提出使用变分自编码器参数化的近似模型来解决传统非参数模型或参数模型在高维度和灵活性方面的问题，并结合重要性采样算法对目标分布进行采样。

    Oct, 2023

  • 利用样本网络估算回归预测分布

    本文介绍了 SampleNet，它是一个灵活和可扩展的架构，用于模拟深度神经网络预测的不确定性，并通过使用 Energy 分数学习样本以及 Sinkhorn 散度进行正则化来定义经验分布。在大规模真实世界的回归任务中，SampleNet 具有较好的适应性并且优于基线模型。

    Nov, 2022

  • 深度网络作为去噪算法：在高维图模型中有效学习扩散模型

    利用深度神经网络来近似评分函数的效率在基于扩散的生成建模中进行了研究，我们观察到评分函数可以通过变分推断去噪算法在图模型中得到较好的近似，同时这些算法适用于高效的神经网络表示，通过示例验证了这一观察，并结合离散化误差界限为基于扩散的生成建模提供了有效的样本复杂度界限。

    Sep, 2023

  • 深度神经网络的可伸缩子采样推理

    该研究论文介绍了深度神经网络的误差界限、基于可伸缩子抽样的估计器以及基于该估计器构建的置信区间和预测区间。这些方法在计算效率、点估计 / 预测准确性和实用的置信区间和预测区间等方面都具有很好的性能。

    May, 2024

  • DeepSample：基于 DNN 的操作准确性评估测试

    通过概率抽样，研究了五种新的基于抽样的测试技术以及其他三种先进技术，以实现对深度神经网络在运行中准确度的忠实和高置信度估计，从而降低成本。

    Mar, 2024

  • 非参数得分估计器

    本文探讨了基于鲍姆 - 韦尔奇定理的 Stein 方法和 Score Matching 方法的核估计者，提出了一种基于正则化非参数回归框架的统一视角，允许我们分析现有的估计器并选择不同的假设空间和正则化器构建新的估计器。最后，我们提出了基于迭代正则化的分数估计器，它们受到无旋核和快速收敛的计算优势的支持。

    May, 2020

  • 智能抽样用于代理建模、超参数优化和数据分析

    在采样技术的研究领域，我们提出智能采样的概念，既可以创建新算法，也可以修改其他领域的适当算法以满足采样需求，经过定量和定性比较发现，简单的算法可以轻松地满足超参数优化、数据分析等方面的采样需求，并且优于当前使用的更复杂的算法，从而更好地利用时间和计算资源。

    Jun, 2023

  • 并非所有样本都是相等的：使用重要性采样的深度学习

    本研究提出了一种基于重要性采样的计算优化方案，该方案能够减少深度神经网络训练过程中冗余计算，提升模型的训练效果并有效降低损失。实验结果显示，该方案能够在相同的时间预算下，将训练损失降低一个数量级，并提高测试误差 5％至 17％。

    Mar, 2018