ICCVOct, 2019

MOD: 一种利用在线知识蒸馏的深度混合模型，用于大规模视频时序概念定位

PDF
TL;DR探讨了一个深度混合模型，在在线知识蒸馏的帮助下，能够更好地在较小的数据集上进行微调，实现了大规模视频时间概念定位，并在 Youtube-8M 视频理解挑战中取得了第三名。
deep mixture modelonline knowledge distillationvideo temporal concept localizationlarge-scalenextvlad models
发现论文，激发创造
  • 在线模型蒸馏以提高视频推断的效率

    该文研究使用模型蒸馏技术将低成本的语义分割模型专门应用于目标视频流，使模型接近高成本模型的准确性，并在推断运行时具有更低的成本以及更好的稳定性。

    Dec, 2018

  • 释放力量：多模态大型语言模型的竞争蒸馏

    提出了一种创新的 Competitive Multi-modal Distillation（CoMD）框架，捕捉学生模型和教师模型之间的双向反馈，并不断更新学生模型学到的多模态能力，研究结果表明，我们的知识迁移方法在各种数据集上稳定提升了学生模型的能力，经过四次蒸馏后，7B 大小的学生模型在 ScienceQA 和 LLaVA Test 数据集上超过了当前最先进的 LLaVA-13B 模型，在零样本设置下也优于其他强基线模型。

    Nov, 2023

  • 跨模态通用蒸馏方法用于文本 - 视频检索

    这篇论文探索了利用大规模预训练的多个文本编码器设计的算法，提出了一种新颖的综合蒸馏方法 TeachText，并将其拓展应用到视频检索上，在多个视频检索基准上超过了现有技术，而且在测试时不会增加计算负荷。

    Apr, 2021

  • 一阶段模态蒸馏用于不完整多模态学习

    基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在 RGB-D 分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

    Sep, 2023

  • $V_kD:$ 使用正交投影来改进知识蒸馏

    通过特征蒸馏方法，我们的研究提出了一种新的约束特征蒸馏方法，该方法可以应用于训练小型高效的深度学习模型，并在 ImageNet 数据集上获得了显著的性能提升。

    Mar, 2024

  • 基于模块的自适应蒸馏用于多模态基础模型

    通过跟踪个别模块的贡献，我们提出了一种改进的 Thompson 抽样算法 OPTIMA，用于解决模型更新导致的模块贡献的非静态性，以最大化总体贡献。

    Oct, 2023

  • 多层知识蒸馏用于文本领域中的外部分布检测

    本研究实现了一种多级知识蒸馏方法，将自监督学习与基于语言模型的强制学习相结合，以生成新颖的 OoD 检测方案，并在多个基准数据集上实现了最新的性能。

    Nov, 2022

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 鲁棒的跨模态知识蒸馏技术应用于不受限制的视频

    本论文提出了模态噪声过滤和对比语义校准的跨模态蒸馏方法，可以显著提高视觉动作识别和视频检索的性能。

    Apr, 2023

  • VideoAdviser: 多模态迁移学习的视频知识蒸馏

    提出了一种名为 VideoAdviser 的视频知识蒸馏方法，用于实现高效性能的多模块转移学习；通过使用基于 CLIP 的教师模型向基于 RoBERTa 的学生模型提供丰富的多模态知识监督信号，从而在多个挑战性的多模态任务中实现了有效的知识转移。

    Sep, 2023