Jun, 2021

在自然图像中建立归纳偏好：不变性源于数据变化

PDF
TL;DR研究了机器学习模型在处理未见过的样本时对输入的因素变化产生可预测响应的归纳偏差，并发现训练数据本身是形成这种不变性的主要来源。同时，针对数据的变化，研究表明标准数据增强依赖于平移和尺度的精确结合，而其使用的变换方法并不能完全解释真实数据的变化。
machine learninginductive biasesdata augmentationinvarianceimagenet
发现论文，激发创造
  • 学习变换以实现个体无关性的普适性

    基于数据的学习预测变换分布以及通过对样本对齐实现对不同类别的普遍不变性和适应不同姿态，从而提高计算机视觉中的准确性和鲁棒性。

    Sep, 2023

  • 为什么深度卷积神经网络对小图像变换的泛化性表现很差？

    本文研究了卷积神经网络在面对微小图像变换时不具有不变性及其成因。作者提出传统的卷积架构不满足传统采样定理及数据增强只适用于与训练集中典型图像相似的图像，且两种解决方案只能部分解决问题。因此，在网络保持高准确率的情况下保证不变性的问题仍未解决。

    May, 2018

  • 具有可微扩增层的深不变网络

    本文探讨了从训练数据中学习不变性的新方法，该方法使用可学习的增强层直接构建在网络中，具有很高的可塑性、易于训练和快速的优点，可以应用于计算机视觉以外的广泛领域。实验证明，该方法不受模型表达能力的限制，与当前基于双层优化的现代自动数据增强技术相比表现出色。

    Feb, 2022

  • 神经网络中的不变性学习

    该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

    Oct, 2020

  • 神经网络中不变性的好处

    本文分析比较了深度学习中两种广泛使用的处理不变性的方法：数据增强和特征平均，并针对其优缺点提出了相关理论结果和实验证明。其中，数据增强训练可以更好地估计风险和其梯度，并提供了 PAC-Bayes 泛化界；而特征平均可以在使用凸损失时降低泛化误差并收紧 PAC-Bayes 界。

    May, 2020

  • 在具有随机特征和核模型中学习不变性

    该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

    Feb, 2021

  • 为什么自监督模型能够迁移？—— 探究不变性在下游任务中的影响

    本文研究了自监督学习在图像中表征学习的应用，通过对比实例匹配方法，我们发现不同的视觉任务需要不同的数据扩充策略，并且使用具有互补不变性的表征方法可以提高各种下游任务的表现。

    Nov, 2021

  • 深度神经网络早期层的不变性在多样的特征可视化中展现

    本研究提出了一种找到深度神经网络中隐藏层单元响应中不变性的方法，结果表明 DNNs 学习了不变性转换，并提供了系统性的方法来研究它们。

    Jul, 2018

  • 通过神经网络修剪揭示不变性

    我们提出了一种通过修剪学习到的新型网络架构以捕捉数据依赖的不变性的框架，在视觉和表格数据集上，我们学到的网络架构始终比密集神经网络在效率和效果上表现更好。

    Sep, 2023

  • 卷积神经网络中的平移不变量量化

    研究卷积神经网络中实现图像识别中的平移不变性的因素，并发现训练数据增量是获得平移不变表示的最重要因素。

    Dec, 2017