Sep, 2023

通过不确定性估计进行最佳样本选择及其在深度学习中的应用

PDF
TL;DR通过开发一个新的算法 COPS，我们提出了一个理论上最佳的解决方案，以最小化从样本数据训练的模型的预期损失。我们的方法在深度学习任务中可以有效地应用，通过使用模型的对数几率来估计采样比例，并通过低密度样本的降权方法来解决模型对错误规范的敏感性挑战。实证实验表明，COPS 相对于基线方法具有卓越的性能。
deep learninglarge labeled datasetscoreset selectionactive learninglinear softmax regression
发现论文，激发创造
  • 核心集学习现实检查

    本文对来自于 coreset 和 optimal subsampling 文献的多个 logistic regression 方法进行了直接比较，并发现了它们有效性上的不一致性，很多情况下这些方法都没有超过简单的均匀抽样。

    Jan, 2023

  • DeepCore: 深度学习中数据子集选择的全面库

    本文提出 DeepCore 库，并对目前主要的 coreset 选择方法在 CIFAR10 和 ImageNet 数据集上进行了实证研究，结果表明，虽然各种方法在某些实验设置上具有优势，但随机选择仍然是一个强有力的基准。

    Apr, 2022

  • 少样本学习：计算机视觉统一数据子集选择与主动学习框架

    本文介绍一种使用多样性模型的训练数据子集选择方法，该方法可提高计算机视觉任务的准确性并减少标注成本。

    Jan, 2019

  • 概率双层核心集选择

    本研究提出了一种连续概率双层形式的核心集选择方法，通过学习每个训练样本的概率权重，该方法在标签噪声和类别不平衡情形下表现出优越性。

    Jan, 2023

  • 推进深度主动学习和数据子集选择：用信息理论直觉统一原则

    通过改进深度学习模型的标签和训练效率，此研究旨在增强深度学习的实用性。具体地，研究基于信息论原理的数据子集选择技术，包括主动学习和主动采样，其中主动学习提高了标签效率，而主动采样增强了训练效率，并系统研究了这些技术在深度学习中的应用。

    Jan, 2024

  • 基于重复学习的在线核心集选择

    本文介绍了一个在线核心集选择算法（Online Coreset Selection），通过该算法可以从数据集中选择最具代表性和信息量最大的样本，从而来改善连续学习过程中的遗忘问题，提高模型的效果和效率。该算法在多个标准、不平衡和有噪声的数据集上得到了验证，并且相对于其他算法具有更好的抗遗忘特性和样本利用率。

    Jun, 2021

  • 一种基于加权 K-Center 算法的数据子集选择

    基于深度学习的子集选择方法，通过结合高不确定性的边缘采样和多样性聚类方法的加权和来计算子集，并通过并行算法在大数据集上取得了类似或更好的性能表现。

    Dec, 2023

  • 基于概率建模的深度目标检测主动学习

    本文提出了一种基于混合密度网络的深度主动学习方法，该方法通过对定位和分类器的输出估计概率分布并明确估计模型的不确定性，使用一种特殊得分函数将这两种不确定性聚合在一起以获取每个图像的信息量分数，通过 PASCAL VOC 和 MS-COCO 数据集的实验证明了该方法在物体检测方面的有效性，性能优于单模型和多模型方法，而计算成本仅为之前方法的一小部分。

    Mar, 2021

  • 具有损失不确定性的样本选择及其在带噪声标签学习中的应用

    本研究提出了一种无标签学习的新方法，将区间估计引入了样本选择过程，以更好地探索未被充分选择的正确标注但看似贴错标签的较大损失数据和代表性差的数据，提高了误标噪声下的学习鲁棒性。

    Jun, 2021

  • 长尾深度主动学习

    本文研究了基于池化的主动学习方法，提出了一种新的算法，使用神经网络在表征层上的激活空间中的最远优先遍历，从池中查询连续的点，相比于随机抽样和传统的不确定性抽样技术，对 MNIST、CIFAR-10 和 CIFAR-100 三个数据集的样本复杂度都有显著提高。

    Nov, 2017