compute budget | BriefGPT - AI 论文速递

关键词compute budget

搜索结果 - 9

解决语言模型计算最优扩展的差异
Kaplan 等人和 Hoffmann 等人为计算预算的优化模型大小开发了有影响力的扩展定律，但这些定律给出了截然不同的预测结果；通过在两个数据集上重现 Kaplan 定律，并识别出最终层计算成本、预热时间和规模相关的优化器调整等三个因素，
PDF7 days ago
协调 Kaplan 和 Chinchilla 比例定律
该研究重点研究了 transformers 在语言预测任务中的缩放行为，探讨了参数设置和计算预算对模型性能的影响，并解释了 Kaplan 等人估计过高的原因。
PDF22 days ago
令牌经济中的推理：对 LLM 推理策略的预算感知评估
考虑计算预算并结合性能指标，对比了不同推理策略在语言模型中的效果，发现复杂推理策略的成功并非仅仅基于算法的巧妙设计，更取决于分配的计算资源。
PDF24 days ago
图像合成中的计算权衡：扩散，掩码令牌和下一个令牌预测
最近的图像合成方法主要使用 Transformer 网络架构，本研究通过计算预算的可扩展性对这些方法进行比较，发现基于标记预测的方法在提示后续上明显优于扩散，但在图像质量上，扩散表现与扩大趋势相匹配。论文还比较了每种方法的推理计算效率，发现
PDFa month ago
ACL知识蒸馏与固定计算预算下的从零开始训练对比
相对于基于标准语言模型（LM）的从头开始预训练，知识蒸馏（KD）需要额外进行一次前向传递，通常所用的教师模型大大超过目标学生模型。本研究比较了从头开始预训练与几种 KD 策略在计算资源和预训练数据方面的表现，结果发现虽然从头开始预训练与固定
PDF2 months ago
运用跨语言专业语言模型破解多语言的诅咒
跨语言专家语言模型在同等计算资源下优于其他多语言模型，提供性能改进的同时适应新语种，且具有异步训练的优势，减少硬件需求和推广多语言建模。
PDF5 months ago
规模上，卷积神经网络与视觉变压器相等
评估在 JFT-4B 预先训练的高效 ConvNet 架构，发现在合适的计算预算下，在 ImageNet 上微调后，NFNets 能够与 Vision Transformers 达到可比的性能。
PDF8 months ago
ICCV高效可控多任务架构
我们提出了一种多任务模型，使得用户可以在部署后调整所需的计算预算和任务性能的相对重要性，无需重新训练。这使得能够为动态变化的用户需求优化性能，而无需为各种情况训练和保存模型造成沉重的计算开销。
PDF10 months ago
预计算内存还是即兴编码？一种混合检索增强方法最大化利用您的计算资源
LUMEN 是一种检索 - 增强型语言模型，介于传统的基于文本语料库的预编码记忆和需要编码大量检索段落的 Fusion-in-Decoder 之间，利用一个实时编码器完成编码任务，比 FiD 更便宜且更适合于解决各种问题 - 回答任务，而且
PDFa year ago