Jun, 2024

GLCAN: 具有全局 - 本地协作辅助网络的本地学习

PDF
TL;DR传统的深度神经网络通常使用端到端的反向传播方法，在 GPU 内存上往往产生很大的负担。另一种有前途的训练方法是局部学习，它将网络分为多个块，并借助辅助网络并行训练它们。局部学习已被广泛研究和应用于图像分类任务中，并且其性能与端到端方法相当。然而，不同的图像任务通常依赖于不同的特征表示，这对于典型的辅助网络而言是困难的。为了解决这个问题，我们提出了全局 - 局部协作辅助网络（GLCAN）的构建方法，为辅助网络提供了宏观设计方法。这是局部学习方法首次成功应用于目标检测和超分辨率等其他任务的示范。GLCAN 不仅节省大量 GPU 内存，而且在多个不同任务的数据集上具有与端到端方法相当的性能。
发现论文，激发创造
  • 增强辅助网络的有监督局部学习扩展

    提出了一种名为 AugLocal 的增强本地学习方法，通过选择其后续网络层的小部分层来增强它们之间的协同作用，解决了本地学习方法在大规模网络中与 BP 方法之间的精度差距问题，并减少了 GPU 内存使用量约 40%，为资源受限平台上训练高性能深度神经网络带来了许多机会。

    Feb, 2024

  • 具有周期全局引导的本地监督学习

    提出一种周期性引导的本地化学习方法，旨在提升神经网络的泛化能力。该方法将全局目标函数反复引入神经网络的本地化损失训练中，并在多个模块的配置中具有重要的性能提升。

    Aug, 2022

  • MLAAN：用多层跃迁增强辅助网络扩展监督局部学习

    Scaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network (MLAAN) integrates smoothly with established local learning techniques, enhances efficacy, improves model accuracy, and outperforms end-to-end training approaches while saving GPU memory.

    Jun, 2024

  • 节点分类的全局 - 局部图神经网络

    提出了一种名为 Global-Local-GNN (GLGNN) 的方法，通过利用全局和局部信息以及节点标签和特征的学习，提高了节点分类 GNNs 的性能，并显示了全局信息利用对节点分类的重要性。

    Jun, 2024

  • 卷积神经网络中的全局局部处理

    本文提出了一种简单而有效的全局优势流 (Global Advantage Stream, GAS) 模块，以学习和捕捉输入样本的整体特征，并将 GAS 特征与 CNN 网络结合作为插件组件，被称为全局 / 局部处理 (Global/Local Processing, GLP) 模型，结果表明，该流通过提高准确性和使网络更加抗干扰，学习了更综合和贴近健康人知觉系统的表示。

    Jun, 2023

  • 协作全局 - 局部网络的超高分辨率图像内存高效分割

    提出了一种以极高的内存效率保留全局和局部信息的协作全局 - 本地网络，同样适用于粗到细的分割，用于超高分辨率图像的分割。

    May, 2019

  • 基于全局和局部表示的多网络对比学习

    提出了基于全局和局部特征表示的多网络对比学习框架，通过多个网络引入自监督对比学习的全局和局部特征信息，并通过对比由多个网络生成的嵌入对来学习图像不同尺度上的特征信息，并扩展对比样本数，提高了模型的训练效率。在三个基准数据集上的线性评估结果表明，我们的方法优于几种现有的经典自监督学习方法。

    Jun, 2023

  • 用于实时语义分割网络搜索的局部到全局信息通信

    本文提出了一种名为 LGCNet 的神经架构搜索框架，该框架采用新的搜索空间来有效地搜索轻量级模型，并通过引入 GCN 引导模块实现局部信息交换和提出新型的密集连接融合模块来实现全局信息聚合，同时还引入了基于时延的约束来平衡准确性和速度。大量实验证明，LGCNet 在 Cityscapes 和 CamVid 数据集上取得了最新的最先进的准确性和速度的平衡。

    Feb, 2023

  • 全局与本地化生成对抗网络

    本文提出了一个新颖的局部生成对抗网络（Localized GAN），使用局部坐标系向量化真实数据的不同局部几何变换。在正交先验的作用下避免了流形局部坍塌到低维切向子空间，降低了模式崩溃的风险。用提出的 LGAN 训练分类器不仅能获得更优结果，而且分类结果是在流形中的局部连续性解释，与拉普拉斯 - 贝尔特拉米算子密切相关。

    Nov, 2017

  • 本地学习，整体纠错：一种用于训练图神经网络的分布式算法

    本研究提出了一种基于图神经网络的、名称为 $ ext {{Learn Locally, Correct Globally}}$ (LLCG) 的、分布式算法，通过本地训练减少通信和内存开销，并利用全局服务器修正减少性能退化问题。实验结果显示 LLCG 可以显著提高效率且不损害性能。

    Nov, 2021