BriefGPT.xyz
大模型
Ask
alpha
关键词
sparsity levels
搜索结果 - 4
稀疏最大更新参数化：一种稀疏训练动态的整体方法
通过重新参数化超参数，SμPar 可以在不同的稀疏度级别和模型宽度变化时实现相同的最优超参数值，以解决稀疏神经网络的挑战，并在大规模语言建模中实现高达 8.2％的损失改进。
PDF
a month ago
通过图的混合进行图稀疏化
使用混合图 (MoG) 技术对图神经网络进行图稀疏化处理，针对每个节点的特定环境选择合适的稀疏方案，并在 Grassmann 流形上生成最优稀疏图，从而实现更高的稀疏度水平、GNN 推理速度的提升，并改善 “顶级学生” GNN 在性能上的表
→
PDF
a month ago
ACL
使用原则重要性和自我正则化剪枝预训练语言模型
本研究提出了一种基于等式约束的 0-1 整数线性规划问题和自我正则化机制的迭代模型修剪方法，应用于各种基于 Transformer 的 PLMs，使得在高稀疏度时具有更好的泛化性能。
PDF
a year ago
顺序回归过程中何时选择第一个虚假变量？
研究表明，在稀疏水平的情况下，顺序回归程序中的第一个虚假变量出现得越来越早。这种反直觉的现象是独立高斯随机设计和真实效应任意大的情况下具有持久性的。通过识别其潜在原因，我们介绍了一个简单的可视化工具 - double-ranking dia
→
PDF
7 years ago
Prev
Next