compact models | BriefGPT - AI 论文速递

关键词compact models

搜索结果 - 15

优化大型语言模型的压缩方法
基于层序之差异，我们提出了 LLM-Streamline 方法，该方法通过对模型中不重要的层进行剪枝和轻量级模型的替代训练，以减轻剪枝所引起的性能下降，并在综合实验中展示了其优于现有模型剪枝方法的效果。
PDF3 months ago
自适应大型视觉语言模型在视觉模态之间适用于边缘设备
通过双模态知识蒸馏和量化感知对比学习，EdgeVL 框架实现了大型视觉语言模型在资源受限设备上的高效使用，无需手动标注，提高了在多种视觉模态下的开放词汇分类性能，同时在多个数据集上提升了 15.4% 的准确性，并在模型规模上缩小了 93 倍
PDF4 months ago
关于大型预训练模型的任务特定蒸馏的优良实践
大型预训练视觉模型在多样的识别任务上表现出显著的泛化能力。然而，现实世界中的应用通常需要针对特定问题的紧凑模型。本文针对这一目的，提出了各种知识蒸馏的变体，使得特定任务的紧凑模型（学生）能够从通用的大型预训练模型（教师）中学习。我们展示了近
PDF4 months ago
将 LLM 的分解能力提取为简洁的语言模型
通过离线强化学习将大型语言模型（LLM）的分解能力融入紧凑模型，我们利用 LLM 能力的进步提供反馈并生成专门的任务特定数据集来训练紧凑模型，该研究的主要贡献是开发了一个 AI 生成的数据集和建立了基线，强调了紧凑模型在复制复杂问题解决能力
PDF5 months ago
深度图像超分辨率模型压缩
本研究使用三阶段的工作流对深度超分辨率模型进行压缩，通过教师 - 学生知识蒸馏和新设计的蒸馏损失函数来保持恢复性能，以实现大幅降低模型大小和浮点运算量，同时保持与原始模型和其他常用超分辨率方法相媲美的竞争性超分辨率性能。
PDF6 months ago
Feather: 一种高效 DNN 稀疏化的优雅解决方案
利用强大的直通估计作为核心，结合新的阈值运算符和梯度缩放技术，Feather 是一种有效的稀疏训练模块，能够在标准训练过程中实现健壮的稀疏化性能，通过在 CIFAR 数据集上使用各种体系结构进行演示，而在 ImageNet 上，它使用 Re
PDF9 months ago
MiniALBERT: 基于参数高效递归 Transformer 的模型蒸馏
本文介绍 MiniALBERT，一种将已有的完全参数化的语言模型转换为压缩递归模型的技术，探讨了论文中提出的模型蒸馏、跨层参数共享、瓶颈适配器等技术对压缩模型的 fine-tuning 效果以及在多种领域的实验结果。
PDF2 years ago
生物医学领域中基于紧凑型网络的图像分类半监督学习
本文研究如何利用半监督学习技术解决深度紧凑架构在生物医学图像分类中的问题。使用三个紧凑网络家族和两个半监督学习技术家族来比较不同方法在 10 个生物医学任务中的性能，最终结合数据蒸馏和 MixNet 及 ResNet-18 等取得最佳结果，
PDF2 years ago
利用量化噪音进行极限模型压缩的训练
本文针对在给定模型大小时最大化其准确性的紧凑模型生成问题，将讨论延伸量化感知训练的方法，实现了仅在每个前向传递过程中量化不同的一组随机权重，从而利用 SE 残差正向时间传递的无偏梯度实现极端压缩的目的，并在自然语言处理和图像分类领域分别取得
PDF4 years ago
ICML深度人脸识别的三元组蒸馏
本文提出了一种增强版本的三元组损失函数，名为三元组蒸馏，在多个数据集上展示了其优于原始三元组损失函数的优越性，能够自适应地变化正负样本之间的间隔，从而更好地利用相似性信息来提高紧凑模型的性能。
PDF5 years ago
CVPR利用较少帧数进行高效视频分类
探索了一种使用高计算复杂度的 Teacher 来训练计算效率更高的 Student 进行视频分类的方法，并表明该方法可以显著减少 FLOPs 数量并降低推理时间。
PDF5 years ago
从头开始使用深度监督进行物体检测
提出 Deeply Supervised Object Detectors（DSOD）框架，实现可以从头开始训练的目标检测器。通过 Layer-wise Dense 连接在主干网和预测层之间实现深度监督，DSOD 能在 PASCAL VOC
PDF6 years ago
Eyeriss v2: 用于移动设备上新兴深度神经网络的灵活加速器
本文介绍了一种名为 Eyeriss v2 的 DNN 加速器结构，旨在为运行紧凑和稀疏的 DNN 提供专门的硬件支持，通过高度灵活的片上网络和直接在压缩域中处理稀疏数据的设计，显著提高计算性能和能源效率，同时提供了一种名为 Eyexam 的
PDF6 years ago
学习紧凑循环神经网络
本文介绍了一种利用低秩分解和参数共享技术来学习紧凑的循环神经网络（LSTM）的机制，探究了在不损失性能的情况下完善紧凑结构的可能性，并且发现在底层使用结构矩阵，在顶层使用共享低秩因子的混合策略特别有效，在 2000 小时英语语音搜索任务上将
PDF8 years ago
从字节开始的多语言处理
通过基于 LSTM 的 Byte-to-Span 模型，我们能够读取以 byte 形式表示的文本，并输出 [start, length, label] 的 span annotations，由于直接操作 unicode bytes 而非语言
PDF9 years ago