scaling behavior | BriefGPT

关键词scaling behavior

搜索结果 - 11

ICML私隐差分深度学习的高效可扩展训练
差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP
PDF9 days ago
RetinaGS：使用十亿级三维高斯函数进行密集场景渲染的可扩展训练
本研究探索了在大规模高分辨率数据集上训练高参数 3D 高斯喷溅（3DGS）模型的可能性，并设计了一种称为 RetinaGS 的通用模型并行训练方法，通过使用适当的渲染方程式可适用于任何场景和任意高斯图元分布，能够探索以前难于探索的 3DGS
PDF17 days ago
协调 Kaplan 和 Chinchilla 比例定律
该研究重点研究了 transformers 在语言预测任务中的缩放行为，探讨了参数设置和计算预算对模型性能的影响，并解释了 Kaplan 等人估计过高的原因。
PDF22 days ago
使用结构化体积信息放大概率 PDE 模拟器
应用偏微分方程模型到现实世界问题是科学机器学习的重要课题。本文提出一种结合基于有限体积法的离散化方案和数值线性代数技术的框架，通过实验验证在空间与时间方面的海啸模拟中该方法相比之前的基于插值法的技术有显著的性能提升。
PDFa month ago
Lag-Llama: 面向时间序列预测的基础模型
构建时间序列预测的基础模型并研究其缩放行为，我们提出了 Lag-Llama，这是一个通用的单变量概率时间序列预测模型，它是在大量时间序列数据上训练而成的。该模型表现出了良好的零样本预测能力，在未见过的 “超出分布范围” 的时间序列数据上优于
PDF9 months ago
自助式交叉表格表示学习的扩展实验
为了分析深度表格表示学习模型的扩展潜力，我们引入了一种专门针对表格数据的基于 Transformer 的架构，通过利用表格特定的分词器和共享的 Transformer 主干来进行交叉表格表示学习。我们的训练方法包括单表和交叉表格模型，通过自
PDF9 months ago
基础模型稀疏连接的扩展规律
我们探讨了参数稀疏性对在大规模数据集上训练的 Transformer（即 “基础模型”）的扩展行为的影响，涉及视觉和语言领域。我们首次确定了描述权重稀疏性、非零参数数量和训练数据量之间关系的扩展定律，并通过 ViT/JFT-4B 和 T5/
PDF10 months ago
ICLR神经缩放定律失效
研究了神经网络在多种任务中的扩展行为及其泛化预测模型，提出一种称为 BNSL 的平滑断电力法函数形式，相较于其他神经网络扩展行为函数形式，其推广的预测更加准确、准确地模拟和推广其他函数形式无法表达的特定情况下的不单调转折点和明显拐点扩展行为
PDF2 years ago
HighMMT: 量化多模态和交互异质性实现高维表示学习
本文提出了两种信息理论的度量方法，用于量化多模态学习中异构性，并提出了一种可扩展到多个领域的高模态模型 HighMMT，其性能优于以前的方法，并表现出重要的缩放行为。
PDF2 years ago
图像字幕生成的视觉语言预训练规模化提升
本研究介绍了 LEMON，一个大规模图像描述生成模型，探究了基于视觉 - 语言预训练的 transformer 模型在图像描述生成中的可扩展性，并使用大量数据和不同训练方法对其进行了实验和分析，取得了多个数据集上的最新成果。
PDF3 years ago
大型小批量 SGD 扩展：改进准确性和减少训练时间的 ImageNet-1K 上残差网络训练
本文探讨了在 petaflop 级超级计算机上训练 ResNet-50 的挑战和新解决方案，最终展示了高达 90％的扩展效率和 28 分钟的训练时间。同时介绍了 Collapsed Ensemble (CE) 技术，使得在相同的固定训练预算
PDF7 years ago