computational cost reduction | BriefGPT

关键词computational cost reduction

搜索结果 - 14

ICLR加速训练 Transformer 模型的多层框架
我们提出了一个多层框架，通过合并和解散以及插值操作来加速训练，从而降低了 BERT/GPT-Base 模型的计算成本约 20%，以及 BERT-Large 模型的计算成本高达 51.6%，同时保持了性能。
PDF3 months ago
一阶段基于提示的持续学习
通过引入一种单阶段的 PCL 框架，将中间层的标记嵌入作为提示查询，消除了查询 ViT 的额外前馈阶段，从而在训练和推理中将计算成本降低了约 50%，准确度仅下降不到 1%。此外，引入了查询池正则化损失（QR 损失），用于改进提示查询和提示
PDF4 months ago
具有低计算成本保证的多模态 Transformer
Transformer-based models have significantly improved performance in multimodal understanding tasks, but suffer from high
PDF4 months ago
SuperCalo: 阈值能量沉积超分辨
通过使用流式超分辨率模型 SuperCalo，可以快速地将高维的细粒度量能计量器沉降（shower）从粗粒度沉降中提升，从而降低计算成本、内存需求和生成时间。此外，通过 SuperCalo 提升的沉降具有高度的变异性，使得可以从较少的粗粒度
PDF10 months ago
应用于复合材料热压处理的连续元迁移学习（SMT）以应对物理信息神经网络的复杂性
通过提出一种新颖的顺序元迁移学习框架，将物理导向神经网络（PINN）分解 PDE 的时间域以创建适用于 PINN 训练的较小时间段的 “较简单” 问题，并通过元学习器在各个时间间隔上进行训练，以实现快速适应各种相关任务的最佳初始状态，并借助
PDFa year ago
DADO -- 深度主动设计优化的低成本选择策略
应用深度主动学习于设计优化，通过两种自我优化的选择策略有效降低计算成本，并在流体力学领域验证了方法的有效性。
PDFa year ago
双视觉变压器
本文提出了名为 Dual Vision Transformer (Dual-ViT) 的新型 Transformer 结构，在保持准确度的前提下，通过综合运用语义路径和像素路径，将全局语义压缩成更高效的先验信息，进而实现了减少计算复杂度的目
PDF2 years ago
ECCV子空间扩散生成模型
通过在噪声映射运行限制后的高维扩散过程，实现基于评分模型生成高质量样本且减少计算量的方法。
PDF2 years ago
ACLAdapLeR: 自适应长度缩减加速推理
本文提出了一种基于 salience 方法的计算成本降低技术，具体来说，是通过动态消除 BERT 模型中的无用 tokens 以降低计算成本，在几个不同的分类任务中验证其性能，实现了高达 22 倍的加速。
PDF2 years ago
AAAI注意力机制的快速蒙特卡罗近似
引入 Monte-Carlo Attention（MCA），一种随机化逼近方法，旨在减少 Transformer 架构中的自注意机制的计算成本，并通过近似矩阵乘法对输入令牌进行编码，使得计算低关注度的输入令牌时具有弛容性，从而降低了注意力复
PDF2 years ago
AAAI一种层次分解 - 重构框架，用于神经元剪枝以实现准确的轻量级网络
本文提出了一种新的神经元修剪框架 —— 分层分解重构框架（LDRF），它能够在嵌入空间中恢复每一层的输出信息，并传播至后续被修剪的层，保留有用信息，相比现有方法在 ILSVRC-12 基准测试中能够实现 5.13-3 倍的速度提升，并且只有
PDF6 years ago
基于空间稀疏性的实时语义图像分割
本文介绍了一种语义分割的方法，通过使用双列网络结构和特定区域的忽略来降低计算成本，并在保证较高质量的前提下实现每秒处理约 15 张高分辨率 Cityscapes 图像的能力，达到了 72.9％的平均交集联合得分。
PDF7 years ago
深度学习的训练简化与模型简化：一种最小化反向传播方法
该研究提出了一种基于梯度稀疏化和模型简化的技术来降低神经网络的训练和推断计算开销，并且在不降低模型准确率的情况下，实现了对模型的自适应简化，具有很高的应用价值。
PDF7 years ago
NIPSPerforatedCNNs: 通过消除冗余卷积加速
通过循环穿孔技术，我们提出一种降低卷积神经网络在低功耗设备如手机上计算成本的新方法，可以将现代卷积网络的速度提高 2 倍至 4 倍，这种方法还可以补充最近由 Zhang 等人提出的加速方法。
PDF9 years ago