Oct, 2022

EfficientVLM:通过知识蒸馏和模态自适应修剪实现快速和准确的视觉语言模型

TL;DR本篇研究介绍了一种对于大型视觉 - 语言模型进行压缩的方法,该方法利用蒸馏和剪枝技术,通过知识蒸馏和模态自适应剪枝等手段来获取一个更快、更小但更准确的模型。最终得到的 EfficientVLM 模型仅含有 9300 万个参数,具有 98.4%的性能表现,并在各种视觉 - 语言任务中取得了令人瞩目的结果。