关键词hyperparameter settings
搜索结果 - 4
- 英爱转换器式 NMT 的人工评估
该研究评估了超参数设置对基于 Transformer 的神经机器翻译在英语 - 爱尔兰语低资源对中的质量的影响。研究中使用了基于 Byte Pair Encoding (BPE) 和 unigram 方法的 SentencePiece 模型 - 非凸目标的 Adam 算法收敛性：放宽超参数和非遍历情况
本论文通过探索超参数设置并应对非自回归收敛对实际应用的挑战，建立了 Adam 在非凸优化问题中的理论基础，包括精确定义自回归和非自回归收敛、对非自回归收敛的优势强调、可松弛选择超参数的弱充分条件确保自回归收敛、实现了 Adam 的近似确定自 - ACL长上下文 NLP 模型中效率与准确性的权衡特征
本文对自然语言处理中的长文本序列建模技术进行了深入的研究，通过使用两种常见的长序列模型 ——LED 和 Big Bird，实验分析了模型大小、输入序列长度等因素对其性能表现的影响。发现在精准性、速度和能耗之间存在着权衡，其中 LED 模型在 - 冻融贝叶斯优化
本文介绍一种基于贝叶斯优化的机器学习超参数搜索方法，在训练过程中根据部分信息决定是否暂停、新建模型，以及恢复之前考虑过的模型。该方法特别适合机器学习问题，通过开发一种新的正定协方差核来捕捉多种训练曲线，并开发了一个能够与额外时间观察优雅扩展