weight matrix | BriefGPT - AI 论文速递

关键词weight matrix

搜索结果 - 6

递归神经网络权重矩阵的有用表示学习
循环神经网络（RNN）是一种通用的并行 - 顺序计算机，其权重矩阵即为其程序。本研究探讨了针对 RNN 权重的机械主义和功能主义方法，并通过对 RNN 进行询问输入来提取信息，开发了理论框架以确定 RNN 行为。通过比较，评估不同的 RNN
PDF4 months ago
其中隐藏真理：使用层选择性排名降低改善语言模型的推理能力
通过选择性删除大型语言模型（LLMs）的高阶权重矩阵组成部分，可以显著提高其性能，称为 LASER（LAyer-SElective Rank reduction）方法。该方法在训练完成后对模型进行简单介入，不需要额外的参数或数据，并通过广泛
PDF6 months ago
基于尖峰模式的神经网络
通过提出基于脉冲模式的训练协议，解决了大规模脉冲神经网络更新权重代价高、隐藏计算任务信息、难以理解神经电路机制等问题，引入模式空间降低训练代价并捕捉底层神经流形结构，得到适用于脉冲神经网络的基于模式的学习规则。
PDF8 months ago
神经网络层矩阵分解揭示潜在流形编码和记忆容量
针对连续激活函数的每个稳定收敛的神经网络，我们证明了通用逼近定理的逆定理，即权重矩阵实际上编码了一个连续函数，它在有界区域内以有限的误差边界近似训练数据集。我们进一步通过每个神经网络层的权重矩阵的截断奇异值分解使用 Eckart-Young
PDF10 months ago
ICML现代自指权重矩阵自学习修改
本文提出了可自我修改的參照矩陣 (Self-referential Weight Matrix, SRWM)，使用外部乘积和增量更新规则来对其进行自我修改。该 SRWM 在受控的少样本学习和多任务强化学习中展示了实际应用和竞争性能。
PDF2 years ago
KDDMaxGain: 通过约束激活值幅度来正则化神经网络
本文提出了一种名为最大增益的前馈神经网络经验性模拟方法，通过约束神经网络的增益来达到正则化的效果，得到了较好的正则化效果。
PDF6 years ago