computation reduction | BriefGPT

关键词computation reduction

搜索结果 - 9

一次编码，多次并行解码：高效 Transformer 解码
基于 Transformer 的 NLP 模型在计算成本上限制了其应用场景。我们引入了一种新的编码器 - 解码器模型配置（PiD），通过一次编码和并行解码输出来提高结构化输出和问答任务的效率，避免了重复的输入编码以及减小解码器的内存占用，从
PDF3 months ago
SlowFormer：面向计算与能量效率的通用敌对修补攻击 —— 对推理高效视觉转换器的攻击
近期，在深度模型的推断计算方面取得了很多进展，这些方法可以减少深度模型的计算需求和功耗。我们展示了这些模型容易受到普适性对抗贴片攻击的影响，攻击者通过优化一个贴片，将其粘贴到任意图像上可以增加模型的计算量和功耗。我们运行实验使用了三种不同的
PDF9 months ago
小波域动态帧插值
提出了一种名为 WaveletVFI 的新型两阶段帧插值框架，通过轻量级运动感知网络估计中间光流，然后使用流对齐的上下文特征和稀疏卷积预测多尺度小波系数，以实现高效的目标帧重构，通过嵌入分类器学习动态阈值来控制计算，从而实现高达 40% 的
PDF10 months ago
轻量级卷积神经网络的数据端效率
我们研究了在图像分类和目标检测的两个重要视觉任务中，选择数据方面属性如何帮助选择或设计轻量级卷积神经网络。通过实验，我们展示了四个数据属性 - 类别数目、目标颜色、图像分辨率和目标尺度如何影响神经网络模型的大小和效率。通过基于度量学习的内部
PDF10 months ago
ICCV通过语义感知的时间累积修剪时空令牌
为了优化速度和准确度的平衡，我们提出了基于语义感知的时间积累评分（STA）来整体修剪时空令牌。利用 STA 评分，我们能够逐步修剪令牌而不引入额外的参数或需要进一步的再训练。在 Kinetics-400 和 Something-Someth
PDFa year ago
TinyDet：在轻量级通用检测器中实现精确的小物体检测
TinyDet 是一个计算量极低的轻量级检测框架，采用高分辨率特征图、稀疏连接卷积、强化骨干网络等策略，解决小目标检测困难的问题，并在 COCO 基准测试中实现 30.3 AP 和 13.5 AP^s 的优异性能。
PDFa year ago
SmartBERT: 提升动态早退出机制以加速 BERT 推断
本文提出一种名为 SmartBERT 的动态早期退出的 BERT 推理技术，结合跨层对比学习和层跳过机制，能够自适应跳过某些层和自适应选择是否退出，通过在训练阶段提出硬权重机制，可实现一致的跳过门的使用，通过 8 个分类数据集的实验结果表明
PDFa year ago
CVPR交互式图像合成和编辑的 Anycost GANs
本文提出了可以按照不同成本预算执行的 Anycost GAN，通过多分辨率训练、自适应通道训练和生成器有条件的鉴别器，能够在不同配置下进行评估，并且相比单独训练的模型获得更好的图像质量，并且借鉴现代渲染软件的灵感，使其能够进行交互式自然图像
PDF3 years ago
ICML动态容量网络
本文介绍了一种名为动态容量网络（DCN）的神经网络，可以通过结合低容量和高容量子网络并运用一种新颖的基于梯度的注意力机制自适应地在不同部分的输入数据中进行容量分配，实现对 Cluttered MNIST 和 SVHN 图像数据集的实证评估表
PDF9 years ago