BriefGPT.xyz
Ask
alpha
关键词
msg
搜索结果 - 2
通过掩码形态生长加速两倍的语言模型预训练
本文主要介绍了一种名为 msg 的技术,提出了一种新的增长调度方案,其中包括所有可能的尺寸,并且是独立于新权重初始化的严格函数保持增长运算符。实验证明,与相关工作相比,MSG 速度提高了 80%的 Bert-base 和 120%的 Ber
→
PDF
a year ago
为何如此悲观?通过集成估计离线 RL 的不确定性以及为何独立性很重要
本研究中,我们提出了一种名为 MSG 的实用的离线强化学习算法,该算法针对每个 ensemble member 独立计算目标,利用预测值的下限来优化策略,并在流行的离线 RL 基准测试中表现出优异的性能。
PDF
2 years ago
Prev
Next