parameter isolation | BriefGPT

关键词parameter isolation

搜索结果 - 4

具备成对层架构的任务不可知连续学习
通过使用基于静态架构的方法，本研究不依赖记忆重现、参数隔离或正则化技术，仅通过将网络的最后一层替换为成对交互层来改善连续学习性能，并使用 Winner-take-all 风格激活函数中的稀疏表示来发现隐藏层表示中的相关性，实验结果表明该架构
PDFa month ago
朝向在连续学习中无冗余子网络
为了克服参数隔离方法中存在的限制，我们提出了信息瓶颈掩码子网（IBM）方法，通过消除子网络中的冗余，累积宝贵的信息到关键权重，构建不带冗余的子网络，有效地减轻了灾难性遗忘问题，并通过传输宝贵的知识促进新任务训练。实验证明，IBM 方法一直优
PDF7 months ago
动态稀疏训练下的持续学习：探索有效模型更新算法
连续学习是指智能系统在尽可能少的计算开销下，从数据流中顺序获取和保留知识的能力。本研究通过对 Dynamic Sparse Training (DST) 的不同组成部分在连续学习范式下的影响进行了首次实证研究，以填补重要的研究空白并为连续学
PDF10 months ago
通过参数隔离在动态图上进行持续学习
本文提出一种参数隔离的图神经网络（PI-GNN）方法，通过扩展模型参数并冻结不受动态图影响的参数以保留之前学习的知识，解决动态图学习中的灾难性遗忘问题，实验证明其优于现有方法。
PDFa year ago