early exit | BriefGPT - AI 论文速递

关键词early exit

搜索结果 - 5

层级跳过：在推断中实现早期退出和自我推测解码
通过应用层丢弃和早期退出损失的训练技术，在推理过程中加快大型语言模型的速度，并推出了一种新颖的自我推测编码解决方案，该解决方案减少了内存占用，并在不同训练任务上实现了高达 2.16 倍的加速。
PDF25 days ago
小模型是大模型的计算节省者
TinySaver 是一种动态模型压缩方法，通过使用小型模型来自适应地替代大型模型，实现了计算资源的节约。研究表明，独立的小型模型可以在仅对性能产生微不足道的影响的情况下代替大型模型的工作，从而显著提高计算效率。这一发现有助于研究社区探索应
PDF2 months ago
在图像补丁上进行高效的单目标检测：早期退出增强高精度卷积神经网络
该论文提出了一种新的方法来在计算约束的机器人平台上使用移动机器人检测物体，重点是检测球。
PDF8 months ago
自监督语音识别模型中避免过度思考
本文介绍了一种应用于 ASR 任务的早期退出策略（EE），借此解决自我监督学习模型在大规模任务中存在的推理速度慢和网络反应过度的问题，并提出了两种新的策略来优化性能和速度之间的平衡。
PDF2 years ago
ACL选择适合的工具：匹配模型和实例的复杂度
为了更好地优化给定的推理预算，我们提出了一种改进的上下文表示微调方法，它允许神经网络在简单实例中早期 (快速) 地进行神经网络计算，并允许在困难实例中晚期 (准确) 地退出，以交换精度和推理速度，而不需要昂贵的计算资源。
PDF4 years ago