local learning | BriefGPT - AI 论文速递

关键词local learning

搜索结果 - 8

MLAAN：用多层跃迁增强辅助网络扩展监督局部学习
Scaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network (MLAAN) integrates smoothly with es
PDF8 days ago
ICML迈向可解释性的深度本地学习与渐进梯度调和
本文研究了神经网络训练的局部学习方法，并提出了一种梯度协调的局部训练策略，旨在减少内存消耗并提高性能。
PDF25 days ago
GLCAN: 具有全局 - 本地协作辅助网络的本地学习
传统的深度神经网络通常使用端到端的反向传播方法，在 GPU 内存上往往产生很大的负担。另一种有前途的训练方法是局部学习，它将网络分为多个块，并借助辅助网络并行训练它们。局部学习已被广泛研究和应用于图像分类任务中，并且其性能与端到端方法相当。
PDFa month ago
ICLR增强辅助网络的有监督局部学习扩展
提出了一种名为 AugLocal 的增强本地学习方法，通过选择其后续网络层的小部分层来增强它们之间的协同作用，解决了本地学习方法在大规模网络中与 BP 方法之间的精度差距问题，并减少了 GPU 内存使用量约 40%，为资源受限平台上训练高性
PDF4 months ago
超越端到端训练：以上下文补充提升贪婪局部学习
从信息论的角度出发，我们在贪婪的局部学习中提出了一种 ContSup 方案，它将隔离模块之间的上下文补充作为补偿信息损失的手段。在基准数据集（即 CIFAR、SVHN、STL-10）上的实验证明，我们提出的方法能够显著提高贪婪的局部学习性能
PDF7 months ago
三种简单技术训练深层前向网络
现代机器学习模型能在各种非平凡任务上超越人类，但随着模型复杂性的增加，它们消耗大量能源且难以有效地泛化到未见数据。本研究提出了三个简单技术的集合 The Trifecta，以极大地改善更深层网络上的 Forward-Forward 算法，并
PDF7 months ago
LoCo: 本地对比度表示学习
本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题，提出了一种新的解决方案，即将本地块重叠并堆叠在一起以增加解码器深度，并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征
PDF4 years ago
深度和手工特征的本地学习用于面部表情识别
通过使用卷积神经网络自动学习的特征和由视觉单词的袋子模型计算的手工特征相结合的方法进行面部表情识别，然后使用三步的局部学习框架进行类别标签预测，得出了目前最佳结果。
PDF6 years ago