Mar, 2015

我们需要更多训练数据吗？

PDF
TL;DR本文研究了对象识别系统的模型对各种类型数据大小的适应能力，主要使用了有向梯度特征的磨损模板以及合成的模板混合模型作为研究对象，并发现了混合模型的数量和正样本数量很容易饱和，提出了利用组合混合模型的方法进行训练和预测以及在大数据集上学习效率的问题。
object recognition systemstemplate mixturesdiscriminatively trainedfeature spaceslarge datasets
发现论文，激发创造
  • 大数据神话：使用扩散模型进行数据集生成以训练深度检测模型

    本研究提出了一种通过微调预训练的稳定扩散模型生成合成数据集的框架，并用于对象检测模型的训练，研究结果表明，在苹果果园检测中，合成数据训练的对象检测模型的性能与真实世界图像训练得到的基线模型相似，这表明了合成数据生成技术作为深度模型训练的可行替代方法的潜力。

    Jun, 2023

  • 仅有少量样本的图像变化检测

    这篇论文主要讨论了利用少量样本进行图像变化检测的问题，并通过使用简单的图像处理方法生成合成但具有信息量的数据集并设计了基于目标检测的早期融合网络来解决数据集不足导致的泛化能力差的问题。研究结果表明，使用合成数据训练的模型具有更好的泛化能力，且在此基础上利用少量样本进行微调能够获得优秀的结果。

    Nov, 2023

  • 重新审视深度学习时代数据的非合理有效性

    通过 JFT-300M 数据集进行实验研究，发现模型的训练数据量与视觉任务的表现成对数关系，预训练模型仍具有很大的潜力，同时通过该数据集在不同视觉任务上得到了新的最优表现。希望研究者重视数据集构建和扩大规模的重要性。

    Jul, 2017

  • 跨数据集分析测试平台

    本文开展了针对视觉图像识别中数据集偏见问题的大规模分析，通过将 12 个已有数据库组织成一个语料库，提供了一个有用的特征储存库以供未来研究使用。

    Feb, 2014

  • 分析合成和真实数据对物体检测性能的影响：我们实际需要多少真实数据？

    本文探讨使用合成数据来代替真实数据训练深度网络的效果，分析有限真实数据的影响，使用模拟工具创建大量廉价注释合成数据，并提供设计方法论程序的见解。

    Jul, 2019

  • 没有一种表示能够掌握所有知识：训练方法的重叠特征

    通过对超参、架构、框架和数据集进行大规模实证研究，我们发现训练方法的差异会导致模型产生不同的泛化行为，从而在子域中表现更好，与其他模型的错误更不相关。这种多样性可以提高集成表现，并且连低准确度的模型也可以用来提高高准确度的模型。此外，我们发现训练方法的差异会使表示捕捉到有重叠但不是超集的特征集，将其结合可以提高下游性能。

    Oct, 2021

  • 通过多样的监督解锁小数据的全部潜力

    本研究探讨了在小数据情况下的长尾识别问题，提出了一种以自然场景解析数据集 ADE20K 为基础的模型增强方法，并划分不同分布的头尾目标类别进行表示学习和评估，其中进一步围绕 “稀有类别” 和 “训练图像匮乏” 构建了两个新的研究方向，实验表明通过密集标注少量图像即可在一定程度上缓解小数据约束。

    Nov, 2019

  • 基础数据集设计对少样本图像分类的影响

    本文系统地研究了训练数据变化对深度图像特征的质量和通用性的影响，并提出了关键实用问题，如在固定注释预算情况下，每类图像数量和类别数量之间的最佳权衡

    Jul, 2020

  • 需要多少数据？第 2 部分：预测深度学习类别的训练数据集大小

    通过考虑每个类别的训练样例数量而非整体训练样例数量，本文提出了一种预测机器学习分类模型性能的算法，并应用于 CIFAR10 和 EMNIST 数据集，以解决由此引发的组合问题。

    Mar, 2024

  • 规避简化偏差：训练多样化模型集发现具有更优越 OOC 普适性的解决方案

    研究发现神经网络训练过程中存在简单性偏差，该偏差导致其缺乏鲁棒性，但该问题可通过不同方式训练来缓解，其中包括使用梯度对齐的惩罚项进行训练，以及在独立的模型选择阶段解决信息不足问题，此方法在视觉识别上获得了最佳结果。

    May, 2021