BriefGPT.xyz
大模型
Ask
alpha
关键词
bitnet
搜索结果 - 3
1 位 LLMs 的时代:所有大型语言模型都在 1.58 比特
1-bit Large Language Models (LLMs), such as BitNet b1.58, with ternary weights, define a new scaling law and offer high-
→
PDF
4 months ago
BitNet:面向大型语言模型的 1 比特 Transformer 的扩展
BitNet 是一种可扩展且稳定的 1 位 Transformer 架构,用于大型语言模型,通过引入 BitLinear 作为 nn.Linear 层的替代方案,BitNet 可以从零开始训练 1 位权重,实验结果表明,与最先进的 8 位量
→
PDF
9 months ago
BitNet: 比特正则化深度神经网络
BitNet 是一种基于 Minimum Description Length (MDL) 原则,通过动态限制网络参数的可取范围和值,优化训练神经网络的方法, 在 MNIST 和 CIFAR-10 数据集上通过优化实数值翻译和缩放因子以及任
→
PDF
7 years ago
Prev
Next