inference efficiency | BriefGPT

关键词inference efficiency

搜索结果 - 73

通过渐进蒸馏加速基于扩散的组合优化求解器
基于图的扩散模型在解决 NP 完全问题的组合优化中展现了有希望的结果。然而，由于去噪扩散过程的迭代评估特性，这些模型通常在推理时效率低下。本文提出使用渐进蒸馏来加速推理过程，通过在去噪过程中只进行少量步骤的预测（例如，在单个步骤中预测未来两
PDFa year ago
一款高效稀疏推断软件加速器，用于基于转换器的语言模型在 CPU 上
本论文提出了一种基于定常块大小的高效稀疏深度学习推断软件堆栈，可以将稀疏加速器应用于 Transformer-based 语言模型，我们的稀疏加速器在处理各种 GEMM 形状时，比现有的稀疏库快一个数量级，在 Xeon 上具有高效的性能。
PDFa year ago
动态感知器用于高效视觉识别
本文提出了动态感知器 (Dyn-Perceiver) 框架，使用新颖的双分支架构将特征提取过程和早期分类任务分离，并在分类分支内专门放置了早期退出，从而提高了深度神经网络的推理效率。
PDFa year ago
FISEdit: 通过启用缓存的稀疏扩散推理加速文本到图像编辑
提出了一个使用缓存优化的稀疏扩散模型推断引擎（FISEdit），用于高效的文本到图像编辑，结果表明，使用 FISEdit 可以提高推断速度至少 3.4 倍，并获得更高质量的图像。
PDFa year ago
用于流式多语言 ASR 的专家混合 Conformer
提出了一种流式的、真正的多语言 Conformer 模型，其中融合了 MoE 层以提高推理效率，经在 12 种语言上评估，相对于基线获得 11.9% 的相对 WER 改进；在不使用语言信息的前提下，与使用 Ground Truth 信息的适
PDFa year ago
自回归 Transformer API 推理效率度量的廉价评估
介绍了一种新的度量模型推理效率的 metric 理想运行时间（idealized runtime），对自回归 Transformer 模型进行了高效的估计。使用这些方法，作者对十种最先进的 LLM 进行了比较，并提出了多项结论，包括一些 A
PDFa year ago
条件适配器：具有快速推理的参数高效的迁移学习
该论文提出了一种名为 CoDA 的条件适配器方法，通过稀疏激活与少量新参数和轻量级训练阶段优化传输学习，实验表明 CoDA 方法提供了一种出人意料的高效的知识转移方式，并在语言、视觉和语音任务中实现 2 至 8 倍的推理速度提升，且几乎不损
PDFa year ago
序列到序列模型的结构剪枝：提高推理效率的非对称方法
该研究研究了模型大小、结构修剪、推理效率和摘要准确性之间的关系，发现准确性与编码器大小相关，而推理效率与解码器相关，使用非对称修剪可以在保持相同摘要准确性的情况下将推理延迟减少近 3 倍。
PDFa year ago
密集稀疏检索：使用稀疏语言模型进行推理高效密集检索
研究使用稀疏语言模型替代矢量检索系统来提高推理效率，实验结果表明使用 MSMARCO 数据集，精确度几乎没下降，推理速度最多提高了 4.3 倍。
PDFa year ago
快速稠密检索器消耗 KALE：针对非对称双编码器的嵌入后 Kullback Leibler 对齐
本文讨论了引入结构压缩和编码器大小不对称性来改善基于语言模型的密集检索系统的推理延迟问题，并引入了 Kullback Leibler 嵌入对齐（KALE）方法以提高密集检索方法的推理效率。使用 KALE 和不对称训练，我们可以生成优于 Di
PDFa year ago
无梯度结构剪枝与未标记数据
本文提出一种基于无标签数据的梯度无关结构裁剪框架，能够在不降低准确度的情况下，显著地减少预训练模型的计算成本，从而提高大型语言模型的推理效率。
PDFa year ago
需要多个退出点：加速统一视觉语言模型的动态提前退出
通过提出一种名为 MuE 的新颖的早期退出策略，可以在编解码器中动态地跳过图像和文本多模态的不同层，从而提高推理效率，该方法可将预期推理时间缩短 50％和 40％，同时保持高达 99％和 96％的性能。
PDF2 years ago
高效扩展 Transformer 推理
该研究旨在提高 Transformers 模型的生成推理效率，并通过多维分区技术、低级优化等策略获得较佳的推理效率和 FLOPS 利用率权衡，从而支持 Token 的大批量处理和长文本生成。
PDF2 years ago
ECCV学习为动态早退出网络加权样本
本文提出了一种基于样本加权的训练策略，用于桥接训练与测试时 Early exiting 行为的差距，通过联合优化权重预测网络和网络主干模型，在训练期间模拟其在推理期间的自适应行为，从而提高分类准确度和推理效率的权衡。
PDF2 years ago
ACL基于 Elasticsearch 的 BLINK 实现商业对话中高效实体链接
本文提出了一种神经实体链接系统，将商业对话中产品和组织类型实体与维基百科和维基数据项目相对应，并利用 Elasticsearch 在云机器中部署，以确保推理效率并获得显着的推理速度和存储空间消耗的改进，而仍保持高准确性。
PDF2 years ago
ECCV联合特征学习和关系建模用于跟踪：单流框架
提出一种新型的单流跟踪框架 (OSTrack)，通过双向信息流桥接模板搜索图像对来统一特征学习和关系建模，从而实现动态提取具有区分度的目标定向特征，同时提出了一种在网络中的候选早期消除模块来进一步提高推理效率。该方法在多个基准测试中都取得了
PDF2 years ago
SPIDER: 为联邦学习寻找个性化神经架构
SPIDER 是一种基于交替优化全局模型和局部模型的神经架构搜索算法框架，在联邦学习中搜索个性化的神经架构，以提高推理效率和模型性能。
PDF3 years ago
AAAI搜索与学习：改进数据到文本生成的语义涵盖率
该论文提出一种搜索和学习的方法来解决低语义覆盖率问题，进而提高 data-to-text 生成中预训练语言模型的效率，并在 E2E 和 WikiBio 数据集上实现了高性能。
PDF3 years ago
AdaViT: 自适应视觉 Transformer 用于高效图像识别
本文提出了 AdaViT，一个自适应的计算框架，旨在提高视觉变换器的推理效率，而只有 0.8％的准确率下降，并在不同的计算预算条件下实现了良好的效率 / 准确性平衡。
PDF3 years ago
ICCV像素差异网络用于高效边缘检测
本文提出了一种名为 PiDiNet 的简单而高效的边缘检测架构，它在 BSDS500、NYUD 和 Multicue 数据集上均表现出了较高的训练和推断效率，通过从零开始的训练，使用不到 1M 个参数，就能在 BSDS500 数据集上达到超
PDF3 years ago