教师学生网络在视频分类中使用较少的帧数

CVPRMay, 2018

教师学生网络在视频分类中使用较少的帧数

I Have Seen Enough: A Teacher Student Network for Video Classification Using Fewer Frames

Shweta Bhardwaj, Mitesh M. Khapra

TL;DR本文主要介绍了利用蒸馏的思想来缩短视频分类问题的计算时间。通过建立师生网络，使得其中的学生网络只需要处理视频片段的一小部分，便能取得与完整视频相同水平的分类表现，从而使得在验证期推断时能够获得 30% 的时间节约。

Abstract

Over the past few years, various tasks involving videos such as classification, description, summarization and question answering have received a lot of attention. Current models for these tasks compute an encoding of the video by treating it as a sequence of images and going over every image in the sequence. However, for longer videos this is very time cons

video classification distillation teacher network student network inference time

发现论文，激发创造

利用较少帧数进行高效视频分类

探索了一种使用高计算复杂度的 Teacher 来训练计算效率更高的 Student 进行视频分类的方法，并表明该方法可以显著减少 FLOPs 数量并降低推理时间。

Feb, 2019

在线模型蒸馏以提高视频推断的效率

该文研究使用模型蒸馏技术将低成本的语义分割模型专门应用于目标视频流，使模型接近高成本模型的准确性，并在推断运行时具有更低的成本以及更好的稳定性。

Dec, 2018

多任务自监督学习知识蒸馏在视频分类中的应用

本文提出了一种基于图的蒸馏框架，将来自多个自监督任务的知识进行传递和压缩，以提高视频表示的学习效果和模型推理速度。

Apr, 2018

DistInit: 不使用单个带标签视频学习视频表示

本文提出了一种另类的方法，通过使用预训练的图像模型作为 “老师” 来训练视频模型，从而实现对视频表示的无监督学习。相比于现有的技术，该方法在 input modalities 的不同数据源下具有更强的迁移性能，并在彻底未被筛选的原始视频数据来源下进行训练。

Jan, 2019

视频分类中的分阶段知识蒸馏：通过补充性弱监督框架对学生进度进行协调

本文提出了针对视频分类的基于子阶段学习的知识蒸馏框架，采用渐进级联训练方法和伪标签优化策略来提高效率和准确性，并在多个真实和模拟数据集上进行了广泛的实验表明其优于现有的知识蒸馏方法。

Jul, 2023

重复使用教师分类器的知识蒸馏

使用简单的知识蒸馏技术可以显著缩小教师模型与学生模型之间的性能差距，通过使用预先训练的教师模型的判别分类器进行学生推断，并通过特征对齐训练学生编码器来实现与教师相同的性能。添加新的投影仪使学生编码器与教师分类器匹配，从而将这种技术应用于各种教师和学生架构下达到良好的压缩率与状态的最佳结果。

Mar, 2022

神经网络比人类评分者更具生产力：活跃混合用于从黑盒模型中进行数据效率知识蒸馏

本研究探讨如何使用知识蒸馏从黑盒模型中训练神经网络进行视觉识别，使用混合和主动学习等方法，从而在节省计算和数据集成本的同时保持高性能。

Mar, 2020

通过特征嵌入学习学生网络

本文提出了一种基于特征嵌入的新型教师 - 学生模型，使用局部保持损失函数优化低维特征生成，从而避免引入额外参数，通过实验证明该方法计算和存储复杂度均优于现有教师 - 学生模型。

Dec, 2018

使用全卷积序列网络进行视频摘要

这篇论文探讨了视频摘要的问题，并将其作为一个序列标注问题。优化地选择输入视频的一部分帧以创建一个摘要视频，以最优地捕捉输入视频的重要信息，这提供了一个有用的工具来协助视频检索、浏览等。作者提出使用全卷积序列模型解决视频摘要问题，并通过对普通语义分割网络的改进使之适用于摘要视频的任务。实验结果表明提出的模型具有有效性。

May, 2018

多教师渐进蒸馏的轻量级目标检测学习

对于计算和内存资源有限的感知系统，我们提出了一种简单但非常有效的序列化方法来通过知识蒸馏来提高轻量级分类模型的性能，并成功将基于 Transformer 的教师检测器的知识转化到基于卷积的学生检测器上，从而显著提升了 MS COCO 基准测试上 RetinaNet 和 Mask R-CNN 的性能。

Aug, 2023