inference speedup | BriefGPT

关键词inference speedup

搜索结果 - 10

用于归纳节点表示学习的图压缩
图神经网络 (GNNs) 在处理大规模图时遇到了显著的计算挑战，这严重限制了它们在各种应用中的效力。为了解决这个限制，图压缩成为一种有前景的技术，它构建一个小的合成图以有效地训练 GNNs 并保持性能。然而，由于节点之间的拓扑结构，图压缩仅
PDFa year ago
动态稀疏是通道级稀疏的学习器
本文提出 Channel-aware dynamic sparse (Chase) 方法：将 unstructured dynamic sparsity 转变为 GPU-friendly channel-level sparsity 加速
PDFa year ago
ICLRGPTQ: 针对生成式预训练变换器的准确后训练量化
本研究提出了 GPTQ 一种新的一次性量化方法，可以在 4 个 GPU 小时内将 GPT 模型的参数数量降至 1750 亿，每个权重只需使用 3 到 4 个比特位即可恢复几乎与未压缩基线相同的准确性，在单个 GPU 内执行 1750 亿参数
PDF2 years ago
EMNLPELMER: 一种高效且有效的文本生成的非自回归预训练语言模型
研究了采用预训练语言模型 (PLMs) 方法的文本生成任务，提出了一种用于 NAR 文本生成的有效 PLM（ELMER），它可以显式地建模 NAR 生成中的标记依赖。ELMER 可根据预测置信度在不同层产生标记，从而实现优化并快速的生成，在
PDF2 years ago
AAAIBlock-Skim: Transformer 的高效问答
通过 Block-Skim 的方法，即从 Transformer 模型的内部权重中识别出需要进一步处理和可以尽早舍弃的上下文信息，从而明显提高了 QA 模型的准确性并实现了 3 倍加速。
PDF3 years ago
快速双层神经合成一次性逼真头像
利用神经渲染基础系统从单张照片创建头像，将外貌分解为两个图层，第一层是由小型神经网络合成的姿态相关的粗略图像，第二层由姿态无关的纹理图像定义，通过在线形变和添加到粗略图像上，以确保高分辨率综合头部视图的有效性和速度。实验显示了和先前神经头像
PDF4 years ago
训练前的单次结构化剪枝
使用结构化剪枝在训练之前使速度提高 2 倍，在推理中提高 3 倍的方法。通过删除整个通道和隐藏单元的方法来加快训练和推理，使用基于感受度每 FLOP 的计算感知得分机制来实现裁剪。
PDF4 years ago
利用低秩变换器实现轻量高效端到端语音识别
本研究提出低秩变压器（LRT）神经网络架构，以实现减少网络参数和提高训练推理速度的目标，进而在端对端语音识别任务上实现更好的泛化性能和更低的错误率。
PDF5 years ago
Transformer 转 CNN：用于文本分类的标签稀缺蒸馏方法
这篇论文介绍了一种用蒸馏过程从大型模型中训练出的卷积学生架构，它可以实现 300 倍的推理加速和 39 倍的参数减少，有时学生模型的性能甚至超过了它的老师模型。
PDF5 years ago
ACL非自回归神经机器翻译的模仿学习
本文提出了基于仿真学习的非自回归机器翻译框架，该框架仍然具有快速翻译速度但与其自回归对应方法相比具有可比较的翻译性能。通过对 IWSLT16、WMT14 和 WMT16 数据集进行实验，发现我们提出的模型在保持翻译质量可比的同时，比自回归模
PDF5 years ago