Jun, 2023

通过数据选择探索实世界图像分类中的数据冗余

PDF
TL;DR提出了两种基于神经突触智能和梯度范数的数据估值指标，通过在线聚类和基于考察数据值的分组提出了新的数据选择算法。在线方法使用逐层模型参数更新和每个时期梯度高效地评估数据，可以使用更少的时期和数据子集（例如，19％-59％）加速模型训练，同时在各种数据集中保持等价的水平，还可以扩展到离线 Coreset 构建，只生成原始数据的 18％-30％子集。
deep learningmedical imagingdata valuationonline data selectionoffline coreset construction
发现论文，激发创造
  • 图像分类数据集中的语义冗余：你不需要的 10%

    研究发现，对于常见的基准数据集，可以找到可推广的子集，该子集在训练时与完整数据集相当。此结果可以发现 CIFAR-10 和 ImageNet 数据集中的显着冗余（至少 10％），并且观察到所需图片和多余图片之间存在语义相关性，这可以鼓舞进一步研究以提高训练效率或数据收集。

    Jan, 2019

  • 少样本学习：计算机视觉统一数据子集选择与主动学习框架

    本文介绍一种使用多样性模型的训练数据子集选择方法，该方法可提高计算机视觉任务的准确性并减少标注成本。

    Jan, 2019

  • 使用数据增强、Focal Cosine Loss 和集合方法进行图像分类的高效深度学习方法

    为提高深度学习模型的性能和泛化能力，本论文提出了数据、损失函数和预测等三个方面的技术，以有效地利用小数据集进行训练。通过利用仅包含每类 50 张图像的 ImageNet 数据，我们取得了高准确率，并在 “数据有效计算机视觉挑战” 中排名第四。

    Jul, 2020

  • 通过贝叶斯数据选择实现模型训练加速

    使用轻量级贝叶斯处理和基于大规模预训练模型的即用型零样本预测器，解决了现实场景中标记错误、重复或有偏差的数据在训练中的问题，提高了模型的训练效率。

    Aug, 2023

  • 去除语义冗余训练数据对胸部 X 光分类模型性能的影响研究

    基于熵的样本评分方法用于识别和移除语义冗余训练数据，研究结果表明，在医学影像数据中，对有信息量的训练数据进行训练可显著优于使用全部可用训练数据的传统方法。

    Sep, 2023

  • 在线分布式数据选择的动态阈值法

    通过子模最大化算法，我们设计了一个通用的、灵活的核心选择例程，可在使用最少内存的情况下从数据流中提取最有价值的子集，并在 ImageNet 和 MNIST 的学习任务中表现出了优于随机选择的性能

    Jan, 2022

  • 数据选择的熵和边缘得分指标的全面基准评估

    在工业规模的环境中，特别是在资源有限的语言中，我们通过熵和 EL2N 评分来评估潜在的训练样本的 “有用性” 或 “难度”，并展示了如何使用这些度量来选择用于训练监督机器学习模型的重要样本。我们使用这些度量从大量的 “弱信号标记” 数据中筛选高质量的数据集，然后进行以评分为基础的选择来增强训练数据实验，与随机选择的基线技术相比，结果显示了语义错误率下降 2% 和领域分类错误率下降 4%-7%。

    Nov, 2023

  • 基于不确定度采样、注释冗余限制和数据初始化的脑肿瘤分割主动学习

    本研究探讨了使用 dropout 不确定性评估的 active learning 策略以降低医学 3D 成像中神经胶质瘤 MRI 图像分割所需的大量注释数据，实现了最少数据量达到与全数据集训练相同水平的性能。

    Feb, 2023

  • 数据集增长

    InfoGrowth 是一个高效的在线算法，用于数据清洗和选择，可以提高单模态和多模态任务的数据质量和效率，具有实用的可扩展性。

    May, 2024

  • 一种动态训练和适应深度强化学习模型于不同、低计算及不断变化的放射学部署环境的框架

    本文提出了三种图像压缩和去噪算法，以便将这些模型用于选择性体验重演的终身强化学习。经过测试，最大熵图像核心得到了最佳性能。

    Jun, 2023