distilling | BriefGPT - AI 论文速递

关键词distilling

搜索结果 - 9

VLAP: 通过帧提示和蒸馏实现高效视频 - 语言对齐用于视频问答
我们提出了一种高效的视频 - 语言对齐方法（VLAP），通过帧提示和蒸馏来实现。我们的 VLAP 模型以统一的方式解决了有效的帧采样和有效的跨模态对齐问题。与之前的工作相比，我们的 VLAP 模型在选择具有关键内容的关键帧的能力方面表现出色
PDF7 months ago
ACL蒸馏逐步！用更少的训练数据和更小的模型尺寸胜过更大的语言模型
本文介绍一种名为 “Distilling step-by-step” 的新机制，该机制通过在多任务训练框架内提取 LLM rationales 作为小型模型的附加监督来训练比 LLM 更小且表现更好的模型，并且使用远少于 finetunin
PDFa year ago
ChatGPT 在搜索中表现良好吗？研究大型语言模型作为重新排序代理
本文研究了使用 ChatGPT 和 GPT-4 等生成式大型语言模型来进行信息检索中相关性排序的能力，并且实验证明，经过适当的指导，这些模型可以提供比监督方法更具竞争力甚至更好的结果，并探索将 ChatGPT 的排序能力提炼成一个专门的模型
PDFa year ago
扩散模型知识蒸馏的综合调查
许多概率模型可以灵活地提取 Diffusion Models 来学习基础知识，该论文提供了现代方法的全面概述，以提取 Diffusion Models 中的知识，并共享一些在该领域开始研究的基本了解人士可能感兴趣的信息。
PDFa year ago
关于引导式扩散模型的精馏
本文介绍了一种将分类器自由引导扩散模型蒸馏为更快采样的方法，以减少推理时间，并取得了与原始模型相当的图像有效性。
PDF2 years ago
ICLR带有接收标记的遮蔽蒸馏
本文提出了一种学习嵌入称为感受野标记的方法，该方法可以通过像素级注意力生成的蒸馏掩模在掩模上执行蒸馏。我们采用了多个感受野标记来研究更复杂和更具信息性的像素依赖性，从而进一步增强了去卷积过程。在物体检测和语义分割基准测试中，我们的方法（Ma
PDF2 years ago
预训练 Transformer 模型删除层的影响
通过剪枝方法，本文旨在研究是否所有预训练模型的所有网络层都对下游任务有贡献，并观察剪枝对下游 GLUE 任务的影响，结果表明可将 BERT、RoBERTa 和 XLNet 模型剪枝 40％而保持最多 98％的原始性能，并证明我们的剪枝模型与
PDF4 years ago
ACL词嵌入蒸馏：一种编码方法
本文提出一种编码方法，用于从高维词嵌入中提取特定任务的知识，旨在解决在各种资源受限系统中高性能的轻量级神经网络的需求问题。实验结果表明，从笨重的嵌入中提取知识优于使用小型嵌入直接训练神经网络，能保证高准确性的同时大幅减少模型复杂度。
PDF9 years ago
NIPS贝叶斯深度知识
本文探讨了应用于深度神经网络中的贝叶斯参数估计问题，提出了一种压缩 Monte Carlo 近似方法的新算法，与贝叶斯神经网络中的其他两种方法作了对比，证明了该算法不仅表现更优，而且更简单易于实现且测试所需运算资源更少。
PDF9 years ago