training parameters | BriefGPT

关键词training parameters

搜索结果 - 7

通过模型特征评估对话游戏自对话性能所需参数数量
大型语言模型的好坏取决于其在相关基准测试上的表现，其性能由模型特征（如参数数量、训练方法等）以及训练参数（如微调数据质量等）决定。此外，性能在一定大小范围内表现出广泛变化，受采样参数和推理过程中适度的权重量化影响不确定性较大。
PDF14 days ago
训练的力量：神经网络不同设置对能源需求的影响
本研究旨在探究机器学习训练模式和学习范式的变化对应的能源消耗的影响，通过评估不同超参数初始化的多种设置在两种硬件配置上的实验结果，以及在基准结果之上进行的预训练和多任务训练实验证实它们对可持续机器学习的潜力。
PDF6 months ago
AAAI缩放的 ReLU 对于训练视觉 Transformer 很重要
本论文研究了 ViT 模型的训练问题，发现 scaled ReLU 在 conv-stem 中不仅可以改善训练稳定性，还可以增加 patch tokens 的多样性，从而在不增加太多参数和 flops 的情况下显著提高性能，证明了 ViT
PDF3 years ago
Transformer 模型的训练技巧
本文介绍了使用 Tensor2Tensor 框架和 Transformer 序列到序列模型进行神经机器翻译的实验。研究比较了影响最终翻译质量、内存使用、训练稳定性和时间的一些关键参数，并给出了一些实用建议，包括扩展到多个 GPU 的方法、对
PDF6 years ago
NIPS神经网络的损失函数可视化
本文通过可视化方法探讨神经网络损失函数的结构和损失景观对泛化的影响，提出了一种简单的 “滤波器归一化” 方法来可视化损失函数曲率并对损失函数进行有意义的比较。然后，利用各种可视化方法，探索网络结构如何影响损失景观，以及训练参数如何影响最小化
PDF7 years ago
NIPSELF：即时策略游戏的扩展、轻量和灵活研究平台
本文提出了一个名为 ELF 的平台，用于强化学习领域的研究。通过实验，我们展示了在该平台上进行的训练参数在 Mini-RTS 等三个实时策略游戏中的强大性能。而该平台在游戏环境和强化学习算法上的灵活性，也显示出了其可扩展性。
PDF7 years ago
如何生成良好的词向量？
本文分析词嵌入训练的三个关键组成部分，并将现有的基于神经网络的词嵌入算法系统化，并在相同语料库下进行比较评估。作者提供了几条简单指南以训练词嵌入。作者发现，选择合适领域的语料库比语料库大小更为重要。在此基础上使用更大的语料库能得到更好的结果
PDF9 years ago