ICLRApr, 2020

面向有限资源的深度学习数据和计算高效设计

PDF
TL;DR本文介绍了在医学领域中，利用等变神经网络所开发的移动设备，用于构建更准确、更健壮的模型，但因等变模型的大型高运算架构不适合于移动设备上运行，因此我们设计和测试了 MobileNetV2 的等变版本，并进一步优化模型量化，以实现更高效的推理，同时实现了与 Patch Camelyon (PCam) 医学数据集的接近最新的性能，同时更具计算效率。
equivariant neural networksmedical applicationsmobilenetv2model quantizationcomputational efficiency
发现论文，激发创造
  • 数据缺乏科学应用的不变多尺度神经网络

    机器学习在现代世界的成功主要取决于数据的丰富性。然而，在许多工业和科学问题中，数据量有限。通过具有对称性知识的等变神经网络，可以更有效地将机器学习方法应用于数据稀缺的科学问题，其中，我们建议结合具有对称性意识的不变体架构和扩张卷积堆栈是一种非常有效且易于实现的方法，可以在准确性方面较标准方法有可观的改进。我们将其应用于来自不同领域的具有代表性的物理问题：预测光子晶体的带隙和磁基态的网络逼近。建议的不变多尺度结构提高了网络的表达能力，在所有考虑的案例中表现更好。

    Jun, 2024

  • 大型预训练模型的等变适应

    通过使用规范化网络和数据相关的先验知识，可以使大型预训练模型实现等变性，提高计算效率并增强对数据旋转等确定性变换的鲁棒性。

    Oct, 2023

  • 近似等变神经过程

    通过使用已有的等变体系结构，我们在构建神经过程中使用近似等变性的方法，证明了该模型在合成和真实回归实验中的有效性。

    Jun, 2024

  • 等变可操控神经网络：对对称群的特别强调综述

    本研究论文探讨卷积神经网络在对称群中的应用，提出了群等变神经网络的概念和架构，以及使用多种层和滤波器的方法，为对称群的表示和胶囊的细节做出了数学分析。

    Jan, 2023

  • 使用与滥用等变性

    我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性，并探讨了对网络性能的影响。我们发现，即使输入维度只有一个像素的微小变化，常用的架构也会变得近似等变，而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时，近似等变网络能够放松其等变性约束，并在常见的基准数据集上与或胜过完全等变网络。

    Aug, 2023

  • 通过重新参数化实现元学习对称性

    这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法，而非人为设计具有相应等变性质的架构，其通过学习相应的参数共享模式来实现对等变性的学习及编码，并且结果显示其成功替代了传统手动构建深度学习架构的方法。

    Jul, 2020

  • 逆问题的等变神经网络

    本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

    Feb, 2021

  • 群等变深度强化学习

    本文提出使用 Equivariant CNNs 训练强化学习智能体并研究其在对称变换方面的归纳偏差，结果表明在高度对称的环境中，使用 Equivariant CNNs 可以显著提高智能体的性能和样本效率，同时还需要更少的参数，而且它们对仿射变换引起的环境变化具有鲁棒性。

    Jul, 2020

  • 移动设备上的深度学习：方法、系统和应用

    本文概述了高效深度学习的方法、系统和应用，包括流行的模型压缩方法、自动化模型设计和用户自定义的基于设备的训练，以及各种针对特定任务和空间 - 时间冗余的加速技术和系统设计。

    Apr, 2022

  • 关于图像中 $p4m$ 对称性的近似等变量量子神经网络

    这项研究提出了与平面 $p4m$ 对称性相等的量子卷积神经网络（EquivQCNNs），用于图像分类，并在不同的用例中进行测试，证明了等变性促进了模型更好的泛化能力。

    Oct, 2023