training costs | BriefGPT - AI 论文速递

关键词training costs

搜索结果 - 13

ICML大型语言模型的进化子网络训练
基于大规模语言模型参数冗余的启发，我们提出了一种新的训练范式：进化子网络训练（EST），并将其应用于训练 GPT2 和 TinyLlama 模型，从而实现了 26.7％的 FLOPs 节省以及在下游任务中的性能提升，从而减少了训练成本并提高
PDF25 days ago
DeepSeek-V2: 一种强大、经济高效的专家混合语言模型
DeepSeek-V2 是一种经济高效的 Mixture-of-Experts（MoE）语言模型，具有 236B 总参数，支持 128K tokens 的上下文长度。通过创新的架构，如 Multi-head Latent Attention
PDF2 months ago
MiniGPT-3D：利用 2D 先验信息高效对齐大型语言模型中的 3D 点云
MiniGPT-3D 是一种高效而强大的 3D-LLM，仅经过 27 小时在一台 RTX 3090 上训练，在 2D-LLMs 的 2D 先验知识的帮助下，使用四阶段训练策略进行模态对齐，并采用高效聚合特征的混合查询专家模块，以及低参数的微
PDF2 months ago
DiJiang: 通过紧凑核化实现高效的大型语言模型
为了减小 Transformers 的计算负荷，本文提出了一种名为 DiJiang 的新型频域内核化方法，使预训练的普通 Transformer 能够以较小的训练成本转变为线性复杂度模型。该方法采用了加权准蒙特卡罗抽样方法，理论上具有更高的
PDF3 months ago
基于显著文档上下文的神经机器翻译中改进词义消岐
通过在神经机器翻译中引入少量非句内语境，我们提出了一种简单且可扩展的方法来解决翻译歧义问题，无需语义标注和对标准模型体系结构进行修改，并且通过减少训练成本，优于句级基线和可比的文档级基线。
PDF7 months ago
丹麦基础模型
大型语言模型已在多个领域进行了转变，但是小语种面临高昂的训练成本和大公司训练这些模型的小利益。为了解决这个问题，丹麦基础模型项目通过广泛合作提供和维护丹麦语的开放、文档齐全和高质量的基础模型，确保训练模型的数据质量和适用性。本文介绍了该项目
PDF8 months ago
EMNLPAdaSent: 高效领域自适应句子嵌入用于少样本分类
本研究探讨了针对少样本句子分类的句子编码器 (SE) 的领域专用化策略，提出了 AdaSent 方法，通过在基本的预训练语言模型上训练一个 SE adapter 来解耦句子嵌入的预训练 (SEPT) 和领域自适应预训练 (DAPT)，在多个
PDF8 months ago
FP8-LM：训练 FP8 大型语言模型
我们探索了 FP8 低位数据格式以实现大规模语言模型（LLM）的高效训练。我们提出了一种新的 FP8 自动混合精度框架，可以在递增的方式下渐进地应用 8 位梯度、优化器状态和分布式学习。实验证明，在 H100 GPU 平台上使用我们的 FP
PDF8 months ago
ICCVDataDAM：高效数据集提炼与注意力匹配
采用高效的数据集提炼技术 (DataDAM)，通过匹配真实数据和合成数据的不同层级生成的空间关注图，我们在多个数据集上实现了最先进的性能同时降低了训练成本。
PDF9 months ago
基于完整参数和 LoRA 的微调在指令遵循大型语言模型的比较研究
本研究通过实验比较全参数微调和 LoRA 微调方法，使用 LLaMA 作为基础模型，发现基础模型选择、训练数据集规模、可训练参数数量和模型训练成本都是重要因素。该实验结论可以为训练大型语言模型提供启示，特别是在中文领域，帮助研究人员找到更好
PDFa year ago
MS-LSTM: 探索视频预测领域的时空多尺度表示
本文介绍了一种新的视频预测模型 ——MS-LSTM，该模型采用多尺度空间和时间结构，在充分捕捉时空上下文信息方面具有高效和优秀的性能。与现有的 RNN 模型不同的是，MS-LSTM 使用 LSTMs 和不同的卷积内核设计空间和时间尺度，实现
PDFa year ago
稀疏训练通用框架的两个关键环节：层冻结和数据筛选
该论文提出了一种名为 SpFDE 的通用框架，通过采用稀疏训练、层冻结、数据筛选等技术，可以有效地降低训练成本并保持准确性。
PDF2 years ago
深度迁移学习与最近进展综述
该论文介绍了深度迁移学习的定义和分类方式，探讨了近五年来应用的技术，并研究了实验分析结果，讨论了深度迁移学习方法的限制以及对应的解决方案和研究趋势。其中包括在 Covid-19 检测和边缘设备上应用深度迁移学习可以降低训练成本和增加精度的优
PDF2 years ago