compute | BriefGPT - AI 论文速递

关键词compute

搜索结果 - 7

简单且可扩展的策略，用于持续预训练大型语言模型
大型语言模型的持续学习策略可以通过简单且可扩展的方法成功更新模型，同时只需使用一小部分计算资源来达到重新训练的效果。
PDF4 months ago
语言模型的算法进展
自 2012 年至 2023 年，使用 Wikitext 和 Penn Treebank 的 200 多个语言模型评估数据集，我们发现为达到一定性能门槛所需的计算量每 8 个月减少一半，置信区间为 5 到 14 个月，远快于 Moore 定
PDF4 months ago
EMNLP使用哨兵标记对自回归 Transformer 进行上下文压缩
通过增量压缩指定范围的令牌的中间激活，我们提出了一种即插即用的方法，从而在处理后续上下文时减少了内存和计算成本。实验证明，与稀疏注意力基线相比，我们的方法在流畅度、n-gram 匹配和语义相似性方面具有优势。最后，我们全面评估了上下文压缩对
PDF9 months ago
ViT 训练规模的变化：计算优化模型设计的缩放定律
该研究利用最新的比例定律推导了计算持续时间下最优计算模型的尺寸（参数数量），并进一步推进和改良了比例定律，以推断出计算优化的模型形状，成功地将其实现在视觉变换器中，并证明了我们的形状优化的视觉变换器（SoViT）在多个任务中都能取得出色的效
PDFa year ago
计算机学习的三个时代的趋势
本文研究现代机器学习中指导进步的三个基本因素：计算、数据和算法。我们着重研究了计算这一因素在训练中的变化趋势，并发现自从深度学习的出现以来，训练计算的扩展速度加快，大约每 6 个月翻倍一次。此外，我们还将计算在机器学习中分为三个时代：深度学
PDF2 years ago
测量神经网络算法效率
通过计算量的减少和算法效率的提高，探讨了算法进步方面的量化问题，认为硬件和算法的效率提升是倍增的，应该综合考虑这两个因素来评估人工智能的进展。
PDF4 years ago
三值残差网络
介绍残差网络的概念，通过添加更多的低精度边到敏感分支来补偿精度损失，并提出一种扰动理论来确定这些敏感边，从而可以实现高精度、低模型大小和低电力消耗的计算。
PDF7 years ago