accuracy-efficiency trade-off | BriefGPT

关键词accuracy-efficiency trade-off

搜索结果 - 6

语言模型中低秩分解的精度 - 效率权衡特征化
大规模语言模型的压缩方法如量化和参数修剪在减小模型的内存占用和流量上进行了积极探索，本研究通过对低秩分解方法，特别是 Tucker 分解，在近期语言模型上的研究，包括一个开源的语言模型 Llama 2，详细分析和评估了准确性和效率之间的平衡
PDF2 months ago
集成难度预估的动态视频帧插值
本文介绍了一个整合了难度评估和视频帧插值的管道，该管道首先利用先前评估模型对输入帧的插值难度级别进行量化，然后动态选择适当的插值模型生成插值结果，极大地提高了视频帧插值的准确度和效率。
PDFa year ago
硬件感知延迟削减
通过硬件感知延迟剪枝（HALP）将结构剪枝作为全局资源分配优化问题，同时控制延迟在预定义的预算下最大化准确性。 HALP 使用延迟查找表来跟踪延迟减少潜力，使用全局显着性得分来评估准确度降低，并可以在剪枝期间非常高效地评估这两个指标，使我们
PDF3 years ago
基于张量处理器的卷积网络结构模型剪枝
本研究使用 VGG-16 模型作为示例，测量了各种结构模型修剪方法和数据集（CIFAR-10 和 ImageNet）在 Tensor Processing Units（TPUs）上的准确性和效率之间的权衡，使用 TensorFlow2 开发
PDF3 years ago
GRAD-MATCH: 基于梯度匹配的数据子集选择方法用于高效深度模型训练
本文提出了 GRAD-MATCH 作为一种有效的数据子集提取算法，该算法使用正交匹配追踪算法有效地找到与训练或验证集的梯度相匹配的数据子集，实验表明该算法在精度和效率上都有显著提升。
PDF3 years ago
ACL长度自适应 Transformer: 一次训练，随时使用，避免长度限制和搜索
本论文中提出了一种名为 Length-Adaptive Transformer 的方法，通过使用结构变体 dropout（LengthDrop）在一个转换器上一次训练即可在各种推理场景下使用，并使用多目标进化搜索查找在任何给定计算预算下最大
PDF4 years ago