compute efficiency | BriefGPT

关键词compute efficiency

搜索结果 - 9

uDistil-Whisper: 通过大规模伪标签进行无标签数据过滤的知识蒸馏
该研究论文提出了一种无监督或无标签的框架来提炼 Whisper 模型，通过这种方法，在没有使用任何标记数据的情况下，使得提炼出的模型在性能上能与教师模型相媲美或更好，并且计算和内存效率相对更高。
PDF5 days ago
深度神经网络加速器的快速内积算法和架构
提出了一种名为自由流水线快速内积（FFIP）的新算法及其硬件架构，该算法改进了 Winograd 在 1968 年提出的一种未被充分探索的快速内积算法（FIP）。与 Winograd 最小滤波算法不同，FIP 适用于所有可分解为矩阵乘法的机
PDF8 months ago
使用动态神经网络进行长距离手势识别
我们提出了一种新颖、准确和高效的手势识别方法，通过动态神经网络从输入传感器数据的手势所在空间区域中选择特征进行进一步处理，从而使网络能够专注于手势识别所需的重要特征，并且在计算效率上优于其他技术。我们在 LD-ConGR 长距离数据集上展示
PDFa year ago
大型语言模型的持续预训练：如何（重新）热启动您的模型？
这项研究考察了不同预热策略对大型语言模型的影响，发现重启模型预热可以提高下游性能，即使在大型下游数据集中也优于从头开始训练的模型。
PDFa year ago
学习使用 Gist Tokens 压缩提示
本文提出一种名为 gisting 的方法，使得语言模型可以在不受到提示限制的情况下进行任务处理，通过在指令微调中训练 “要旨” 模型，并仅仅在解码过程中使用它们，可以大大压缩提示量，使得模型可以在保持输出质量的前提下获得更高的计算效率和存储
PDFa year ago
EMNLP基于专家混合的高效大规模语言建模
本文研究了自回归 MoE 语言模型在各种设置下与密集模型的规模比较，并发现除了 fine-tuning 以外，在相同预算下 MoE 模型比密集模型更加高效。该研究表明 MoE 和密集模型在任务和领域上的推广效果不同，值得进一步研究。
PDF3 years ago
AttentionLite: 面向视觉的高效自注意力模型
本文提出了一种新的框架 AttentionLite，用于生产一类参数和计算效率高的模型，同时结合知识蒸馏和剪枝机制并利用自注意代替卷积进行联合优化，使得模型训练和精细调节的时间大大减少，实验显示 AttentionLite 模型的参数效率可
PDF4 years ago
低精度和稀疏性加速深度卷积网络
本研究旨在通过采用极低精度（2 位）权重网络，并在零值上进行操作跳过以提高计算效率和性能，以在低精度网络下获得更高精度。实验结果表明，与全精度网络相比，在并非影响相似准确度的情况下，计算需求降低了约 3 倍，且在 Imagenet 物体分类
PDF8 years ago
ICLR低秩卷积滤波器在图像分类中训练 CNN 的有效性
本文提出了一种通过使用卷积滤波器的低秩表示来创建计算有效卷积神经网络的新方法，该方法通过学习一组小的基础过滤器从头开始进行训练，使网络有效地初始化连接权重。通过使用该方法，我们在 CIFAR、ILSVRC 和 MIT Places 数据集上
PDF9 years ago