Nov, 2023

软随机采样：理论和实证分析

PDF
TL;DR软随机抽样（SRS）是一种简单而有效的方法，用于处理海量数据时高效训练大规模深度神经网络。本论文对 SRS 进行理论和实证分析，包括抽样动态、收敛性和泛化性能，以及在图像识别和自动语音识别等任务中的实证评估。相比现有的数据选择方法，SRS 在准确性和效率之间提供了更好的折衷，并在实际工业规模数据集上表现出显著加速和竞争性能，几乎不增加额外的计算成本。
soft random samplinglarge-scale deep neural networksconvergence rateimage recognitionindustrial scale data sets
发现论文，激发创造
  • 重复随机抽样减少学习时间达到准确性

    本文研究了训练神经网络的数据选择方法，提出了一种名为 RS2 的方法，利用随机抽样的方式显著提高了数据训练的效率，并在四个数据集上得到了验证。

    May, 2023

  • [Re] 双采样随机平滑

    该论文提出了一种名为 “Double Sampling Randomized Smoothing (DSRS)” 框架的方法来提高神经网络的抗干扰性认证，并通过实验验证了其效果。

    Jun, 2023

  • 双采样随机平滑

    提出了一种基于双重采样的随机平滑框架 (DSRS) 来提高神经网络模型的鲁棒性，并证明了其可以克服高维度数据集下现有随机平滑算法的 “维数诅咒”，实验表明 DSRS 可以在不同情况下比现有基准证明更大的鲁棒半径。

    Jun, 2022

  • 使用 100 倍的样本效率估计随机平滑的稳健半径

    减少样本数量可以降低鲁棒性半径，但保持相同的置信度；本文提供了数学基础并在 CIFAR-10 和 ImageNet 数据集上进行了实验证明。

    Apr, 2024

  • 基于中值随机平滑的通用稳健方法用于现实世界超分辨率

    我们的研究探索了提高深度学习超分辨率模型鲁棒性的不同方法的普适性，并发现中值随机平滑在对抗攻击以及标准图像破坏方面比其他方法更具通用性。这些结果支持将真实世界超分辨率方法的发展重心转向鲁棒超分辨率。

    May, 2024

  • 分布鲁棒的安全样本筛选

    本研究提出了一种名为分布鲁棒安全样本筛选（DRSSS）的机器学习方法，旨在识别不必要的训练样本，即使训练样本的分布在未来发生变化。通过将分布鲁棒（DR）范式与安全样本筛选（SSS）有效地结合起来，我们实现了此目标。我们通过扩展现有的 SSS 技术来适应权重不确定性，使得 DRSSS 方法能够可靠地在指定范围内的任何未来分布下识别不必要的样本。我们为 DRSSS 方法提供了理论保证，并通过对合成和真实世界数据集的数值实验验证了其性能。

    Jun, 2024

  • 数据流上的加权随机抽样

    本文研究了基于数据流的加权随机采样（WRS）方法，包括对物品权重的两种自然解释，讨论有 / 无重复采样和不同 WRS 问题及演化数据流的算法适配。

    Dec, 2010

  • SSBNet：通过自适应采样提高视觉识别效率

    本文提出了插入自适应采样层到现有深度神经网络中以提高效率的 SSBNet，该方法在 ImageNet 和 COCO 数据集上达到了竞争性的图像分类和目标检测性能。

    Jul, 2022

  • 统计鲁棒神经网络分类

    为了解决在某些场景下对抗风险无法提供适当的强健度度量的问题，我们开发了一个概率强健风险框架（SRR），它考虑到逐点损坏分布而不是最坏情况下的对手。我们展示了 SRR 的评估和训练方案与自然风险相当简单且高效，能提供优秀的泛化性能，适用于高维数据集。

    Dec, 2019

  • Jo-SRC：一种对抗噪声标签的对比学习方法

    该论文提出了一种名为 Jo-SRC 的噪声鲁棒方法，结合了样本选择和模型正则化，采用对抗学习的方式训练网络并引入一致性正则化，以提高模型的泛化性能。

    Mar, 2021