Oct, 2021

提高分形预训练

PDF
TL;DR本篇文章提出了一种新的、基于分形图像的优化预训练数据集的方法，该数据集可以在零成本的情况下实现完美的分类准确性，无需存储 / 传输巨大的图像存档，没有隐私 / 族群偏见 / 不当内容的担忧，并且图像有无限的供应和多样性。实验结果表明，利用这种新的预训练任务和基于分形的预训练方法 Fine-tune 网络可以达到 92.7-98.1% 的 ImageNet 预训练网络的准确性。
deep neural networksimage datasetsfractal pre-traininglabel accuracycomputer vision
发现论文，激发创造
  • 用于异常检测和定位的分形预训练数据集

    通过使用动态生成的分形图像对比使用 ImageNet 预先训练的模型，我们评估了八种最先进的模型在异常检测任务中的性能，虽然 ImageNet 的预训练仍然是最好的选择，但分形图像的结果非常有希望，这表明了在处理机器学习中日益增长的数据需求以及隐私和安全问题时，使用合成的抽象数据集进行特征提取器训练的新研究方向的可能性。

    May, 2024

  • 无自然图像的预训练

    该论文提出了一种新颖的概念 —— 公式驱动的监督学习，利用分形形象自动生成命名类别标签，从而实现图像预训练，尽管所提出的 FractalDB 预训练模型在所有设置中并未完全胜过人类注释的数据集，但在部分情形下其预测准确率优于 ImageNet/Places 预训练模型，并且所提出的 FractalDB 可以捕捉卷积层和注意力可视化中的独特特征。

    Jan, 2021

  • 用非常有限的合成图像预训练视觉 Transformer

    基于数学公式生成的合成图像的预训练方法（FDSL）通过数据增强替代了显式生成实例，证实其性能优于原始数据集，从而打开了使用更小数据集进行预训练视觉转换的新可能性。

    Jul, 2023

  • 高效条件预训练用于迁移学习

    提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

    Nov, 2020

  • 使用自动生成的轮廓替换标注的真实图像数据集

    本研究证明，在不使用真实图像、人工和自我监督的情况下，公式驱动的监督学习（FDSL）的性能可以与 ImageNet-21k 匹敌甚至超过其性能。FDSL 的图像避免了真实图像所遭受的隐私、版权问题、标签成本与误差以及偏差，因此具有潜在的重要性。此外，本文还探讨了合成图像的性能，并测试了两个假设，即物体轮廓是 FDSL 数据集中最重要的因素，增加标签创建的参数数量会影响 FDSL 预训练的性能。

    Jun, 2022

  • 用少量数据学习深层面部表示的 Frankenstein

    应用深度卷积神经网络对人脸识别问题进行研究，提出利用真实面部图像进行合成的方式来生成大型合成图像数据集，有效缓解了小样本困境，同时在 CASIA NIR-VIS2.0 异构人脸识别数据集上取得最优结果。

    Mar, 2016

  • Visual Atoms: 使用正弦波预训练视觉 Transformer

    使用循环谐波的新方法，探讨了基于轮廓的合成数据集的设计空间，发现增加数据集中的图像数量和种类是关键因素，在新数据集 VisualAtom-21k 上进行预训练后，fine-tuning 在 ImageNet-1k 上的 top-1 准确率达到了 83.7％，与 JFT-300M 预训练相比，图像数量缩小到 1/14，解决了真实图像所带来的问题。

    Mar, 2023

  • 使用生成的图像训练模型的数据集不存在

    利用生成网络产生的图像数据进行机器学习分类器的训练，本文提出了三种不同阶段的技术减少随机产生图像训练的不足，将其在 ImageNet 数据集上进行了检测，并相对于在实际数据上训练得到的分类器提供鼓舞人心的结果。

    Nov, 2019

  • ImageNet-21K 大规模预训练

    本篇论文旨在通过专门的预处理阶段、利用 WordNet 层次结构和一种称为语义 softmax 的新型训练方案，从公开可用的 ImageNet-21K 数据集中有效地进行优质高效的预训练，并展示了不同模型在各种数据集和任务上获得的令人满意的结果。

    Apr, 2021

  • 自监督预训练是否需要大规模数据集？

    本研究探讨了只利用目标任务数据的自监督预训练方法，结果显示与 ImageNet 预训练相比，使用我们介绍的变种 BEiT 的降噪自编码器方法更适合于类型和数据大小各不相同的预训练数据，这种方法在使用 COCO 数据进行预训练时，检测和实例分割性能超过了监督的 ImageNet 预训练方法。

    Dec, 2021