parameter scaling | BriefGPT

关键词parameter scaling

搜索结果 - 6

ICLR大规模扩展异方差分类器
HET-XL 是一种异方差分类器，与标准分类器相比，在处理数千类别的图像分类问题时其参数数量可独立于类别数量缩放，同时能够直接从训练数据中学习温度超参数，从而避免了调参，并在较大规模的图像分类数据集中表现更优。
PDFa year ago
具有连接切线核的尺度不变贝叶斯神经网络
该研究提出了基于参数缩放的先验分布与后验分布的不变性解决神经网络中泛化与可靠性问题，避免了参数总体规模变化对网络泛化性能的影响，从而提高了 Laplace 对数似然近似算法的不确定性校准效果。
PDF2 years ago
亿级参数比域内训练数据更有价值：在法律推理任务中的案例研究
本文中，我们使用了零 shot 模型在 COLIEE 2022 的法律案例蕴含任务中进行了实验，并发现语言模型参数数量的增加可以提高 F1 分数，尤其是对于该任务。我们的 3B 零 shot 模型在 COLIEE 2021 测试集中表现优异
PDF2 years ago
投影式斯坦变分梯度下降
该研究提出一种基于投影斯坦变分梯度下降（pSVGD）方法，通过利用参数投影的低维系数，克服了贝叶斯推断中维度灾难的长期挑战，并在参数维度范围从数百到数万个的实验中证明了其准确性和效率。
PDF4 years ago
Adafactor：自适应学习率与亚线性内存成本
该论文提出了一种基于行和列之和的移动平均数的方法，用于估计神经网络权重矩阵的参数，并解决了自适应方法在更新时产生的过大更新的问题。该方法能够在很少的辅助存储空间中达到与 Adam 默认规则相当的结果。
PDF6 years ago
ECCV基于数据驱动的深度神经网络稀疏结构选择
本文提出了一种简单有效的框架来对深度模型进行端到端的剪枝，方法是先引入一个称为 “缩放因子” 的新参数来缩放特定结构的输出，然后对这些因子加入稀疏正则化，并通过修改的随机加速远端梯度（APG）方法解决这个优化问题。将某些因子强制为零，可以安
PDF7 years ago