Oct, 2020

神经网络中的不变性学习

PDF
TL;DR该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。
发现论文，激发创造
  • 学习变换以实现个体无关性的普适性

    基于数据的学习预测变换分布以及通过对样本对齐实现对不同类别的普遍不变性和适应不同姿态，从而提高计算机视觉中的准确性和鲁棒性。

    Sep, 2023

  • 逆问题的等变神经网络

    本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

    Feb, 2021

  • 具有可微扩增层的深不变网络

    本文探讨了从训练数据中学习不变性的新方法，该方法使用可学习的增强层直接构建在网络中，具有很高的可塑性、易于训练和快速的优点，可以应用于计算机视觉以外的广泛领域。实验证明，该方法不受模型表达能力的限制，与当前基于双层优化的现代自动数据增强技术相比表现出色。

    Feb, 2022

  • 通过重新参数化实现元学习对称性

    这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法，而非人为设计具有相应等变性质的架构，其通过学习相应的参数共享模式来实现对等变性的学习及编码，并且结果显示其成功替代了传统手动构建深度学习架构的方法。

    Jul, 2020

  • 利用等变神经网络进行翻译恢复

    本文提出了一种预分类器恢复器，以恢复被平移（甚至旋转）后的输入到原始输入，该恢复器基于用于张量空间上的平移等变的充分必要条件。

    Jun, 2023

  • 在具有随机特征和核模型中学习不变性

    该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

    Feb, 2021

  • 深度图像识别模型中影响学习等变性的因素是什么？

    神经网络的等变性有助于提高数据效率，参数效率和对域外透视偏移的鲁棒性，数据增强，模型容量的减少以及卷积导致神经网络学习更高的等变性。

    Apr, 2023

  • 重新审视数据增强对卷积神经网络旋转不变性的作用

    卷积神经网络 (CNN) 在各种计算机视觉任务中提供了最先进的性能。本文研究如何在 CNN 中最佳地包括旋转不变性以进行图像分类，并通过数据增强等方法训练网络以实现旋转不变性。

    Oct, 2023

  • 自动使用梯度学习层间等变性

    卷积将等变对称性编码到神经网络中，从而提高泛化性能。为了允许灵活的对称约束，我们改进了软等变性的参数化，并通过优化边缘似然来学习层面的等变性。我们展示了在图像分类任务上自动学习层面等变性的能力，获得了与硬编码对称性基线相当或更好的性能。

    Oct, 2023

  • 使用与滥用等变性

    我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性，并探讨了对网络性能的影响。我们发现，即使输入维度只有一个像素的微小变化，常用的架构也会变得近似等变，而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时，近似等变网络能够放松其等变性约束，并在常见的基准数据集上与或胜过完全等变网络。

    Aug, 2023