软随机抽样（SRS）是一种简单而有效的方法，用于处理海量数据时高效训练大规模深度神经网络。本论文对 SRS 进行理论和实证分析，包括抽样动态、收敛性和泛化性能，以及在图像识别和自动语音识别等任务中的实证评估。相比现有的数据选择方法，SRS 在准确性和效率之间提供了更好的折衷，并在实际工业规模数据集上表现出显著加速和竞争性能，几乎不增加额外的计算成本。

Nov, 2023

本文提出了一种在数据集精馏中初始化样品集的可证明的基于采样的方法，并将数据子集选择的思想与数据集精馏相结合，通过相对贡献的实例的概念优化性能。

Jul, 2023

减少样本数量可以降低鲁棒性半径，但保持相同的置信度；本文提供了数学基础并在 CIFAR-10 和 ImageNet 数据集上进行了实验证明。

Apr, 2024

该论文提出了一种名为 “Double Sampling Randomized Smoothing (DSRS)” 框架的方法来提高神经网络的抗干扰性认证，并通过实验验证了其效果。

Jun, 2023

通过基于损失值的度量对训练数据进行精心选择，可以改进图像超分辨率模型，挑战更多数据必然导致更好性能的传统观念。

Mar, 2024

提出了一种基于双重采样的随机平滑框架 (DSRS) 来提高神经网络模型的鲁棒性，并证明了其可以克服高维度数据集下现有随机平滑算法的 “维数诅咒”，实验表明 DSRS 可以在不同情况下比现有基准证明更大的鲁棒半径。

Jun, 2022

通过使用 D2 修剪算法，将数据集表示为无向图，并进行前向和反向消息传递，综合考虑数据的多样性和难度评分来选择 Coreset，该方法在多个视觉和语言数据集上超越了现有最先进方法的 Coreset 选择效果，对于剪枝率高达 70%，使用 D2 修剪算法来过滤大型多模态数据集可以增加数据集的多样性并改善预训练模型的一般化能力。

Oct, 2023

用于大规模真实数据集的数据集压缩方法 RDED 能够在短短 7 分钟内将完整的 ImageNet-1K 压缩为每类只有 10 张图像的小型数据集，并在单个 RTX-4090 GPU 上以 42% 的 Top-1 精度实现了显著的性能提升（而目前最先进方法仅达到 21% 的精度，且需要 6 小时）。

Dec, 2023

本文研究一次性 coreset 选择，提出一种新的度量方法来度量训练数据集在特定分布下的覆盖率，将整体数据覆盖率与每个样本的重要性同时考虑，提出了 Coverage-centric Coreset Selection（CCS）方法，利用 CCS 在高精简率（例如 90%）时得到的精度显著高于之前的 SOTA 方法以及随机选择方法，并且在低精简率时具有类似的精度。

Oct, 2022

该论文介绍了扩散拒绝采样（DiffRS）方法，它使用拒绝采样方案，在每个时间步中将采样转换核与真实核对齐。该方法可以视作在每个中间时间步评估样本质量并根据样本的不同努力对其进行改进的机制。理论分析表明，与预训练模型相比，DiffRS 可以实现更紧的采样误差边界。实证结果证明了 DiffRS 在基准数据集上的最先进性能以及在快速扩散采样器和大规模文本到图像扩散模型上的有效性。

May, 2024