Jan, 2022

训练卷积滤波器中模型之间分布偏移的实证研究

PDF
TL;DR通过研究已训练模型中学习到的权重的变化，该论文着重研究了主要的 3x3 卷积滤波器的分布特性，在使用不同的数据集、结构和视觉任务时所发现的分布变化以及分布变化缺失的有趣现象，并进一步探讨了数据分布变化对于 CNN 模型泛化能力以及更稳健的迁移学习等相关领域的影响。
distribution shiftsimage datacomputer visionconvolution filterscnn models
发现论文，激发创造
  • CNN Filter DB: 训练卷积过滤器的实证研究

    本文研究的是卷积神经网络的权重分布偏移对于预训练模型的稳健性的影响，提出了一个包含超过 14 亿卷积滤波器的数据集，并通过分析数据集展示了现有预训练模型的一些局限性。

    Mar, 2022

  • 卷积神经网络的强健性和可迁移性研究

    对现代深度卷积网络（CNN）未能在分布漂移下推广的问题进行了研究，并探究了预备数据量、模型规模和数据处理流程对迁移性能的影响，发现增加训练集和模型大小显著提高了分布偏移鲁棒性，同时是非常简单的预处理，如修改图像分辨率在某些情况下可以显著缓解鲁棒性问题。最后，我们提出了一个新的综合数据集 SI-Score 进行了系统的分析。

    Jul, 2020

  • 卷积滤波器视角下的对抗性鲁棒性

    在对具备鲁棒性的深度学习模型进行卷积滤波器分析的研究中，发现经过对抗训练的模型形成了多样性更大、稀疏性更小且更正交的卷积滤波器，且具有更高的分类精度，需要更深层网络结构来实现，此方法也被成功地应用于 CIFAR-10 数据集中。

    Apr, 2022

  • 图像分类模型自然分布偏移鲁棒性测量

    本研究评估了 204 个 ImageNet 模型在 213 个不同的测试条件下的表现，发现大多数当前技术无法提供对真实数据中分布变化的健壮性，唯一例外的是在较大且更多样化的数据集上进行训练可以在多种情况下提高健壮性，并且我们的研究表明当前真实数据中的分布变化是一个开放的问题。

    Jul, 2020

  • 即使是微小的相关性和多样性变化也会导致数据集偏差问题

    本文针对分布转移对深度学习模型性能和可靠性的影响，研究了两种类型的分布转移：多样性转移和相关性转移，并提出了一种综合协议来分析这两种转移。应用我们的方法到一个真实的皮肤癌分类问题，最终有三个发现：模型在低偏差情况下仍学习和传播与转移相关的内容；模型学习了强健的特征但仍使用其他的特征；多样性转移可以降低偏差模型对于与转移相关的特征的依赖性。

    May, 2023

  • 针对图像转换集的模型易受分布偏移漏洞的解决方案

    本研究探讨计算机视觉模型对分布变化的脆弱性，并通过组合优化问题和标准搜索算法寻求这些模型容易受到哪些图像转换的影响。我们通过新的数据增强方法，根据模型容易受到影响的图像变换来训练更加强健模型。实证评估表明，所设计的算法对保持图像内容的操作和分布变化等可以相对更强健。

    Mar, 2019

  • 稳健性的多重面貌：对于越界泛化的关键分析

    本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

    Jun, 2020

  • 应对分布变化的稳健计算机视觉技术综述

    人工智能应用越来越受到公众的关注，然而研究者在计算机视觉模型的理论假设与实际部署时面临一种被称为分布偏移的困境。本文讨论了识别这一突出差距的重要原因，探索了分布偏移的概念及其关键意义，并对数据中心领域用于解决这些问题的技术进行了深入概述。

    Dec, 2023

  • 利用卷积滤波器模式进行迁移学习

    本文介绍了一种新的正则化技术，旨在通过高斯混合模型捕捉卷积神经网络中的统计关系，并将其转移到另一个网络中，实现特征表示的高效学习和转移。

    Aug, 2017

  • 用于图像分类和搜索的变换不变卷积神经网络

    该研究提出了在卷积神经网络的训练阶段中随机转换特征图以增强模型对空间变换的不变性，从而显著提高了 CNN 在图片识别等许多基准任务上的表现。

    Nov, 2019