CVPRMar, 2024

不足标签的开放式视频问题回答的排名蒸馏

PDF
TL;DR本文针对开放式视频问题回答进行了研究，提出了一种简单而有效的排名蒸馏框架 (RADI)，用于解决现有标注问题的缺陷，并且在五个流行基准测试中与最先进的方法相比，表现出色。
open-ended video question answeringmulti-label classificationranking distillationlabeling problemstate-of-the-art methods
发现论文，激发创造
  • 排名蒸馏：学习高性能紧凑排名模型的推荐系统

    在学习排名问题时，我们提出了一种基于知识蒸馏的技术，称为 RD，通过使用更小的模型在保持模型性能的同时提高在线推理的效率，该技术在公共数据集和推荐模型上实现了旨在设计的目的。

    Sep, 2018

  • 基于弱监督检测知识蒸馏的多标签图像分类

    本文提出了一种基于深度学习并利用弱监督检测模型去除物体标注信息的多标签图像分类方法，该方法能有效提高性能并保持高效。实验证明该方法在两个大型数据集（MS-COCO 和 NUS-WIDE）上均优于现有的先进方法。

    Sep, 2018

  • 鲁棒主动蒸馏

    通过游戏论的形式，提供了一种无需超参数，能够同时提供准确且充分信息的软标签，从而显著提高了现有主动学习与主动知识蒸馏方法的效果。

    Oct, 2022

  • 面向机器阅读理解的注意力引导答案蒸馏

    本文针对无数模型的集成、易受对抗攻击、敏感度等当前阅读理解系统的困境，提出基于知识蒸馏的方法，首先对纯知识蒸馏模型对答案跨度预测的有效性进行了论证，其次，提出两种创新方法，它们不仅惩罚了对混淆答案的预测，还利用了集成中蒸馏出来的对齐信息来指导训练。实验表明，我们的最佳学生模型在推理期间仅运行 12 倍的时间，与集成模型相比，在 SQuAD 测试集上仅有 0.4％的 F1 得分下降，在对抗 SQuAD 数据集和 NarrativeQA 基准测试中甚至胜过老师。

    Aug, 2018

  • VideoDistill: 视频问答的语言感知视觉蒸馏

    通过受到人类认知和学习模式的启发，我们提出了一种视频问题回答（VideoQA）的框架 VideoDistill，该框架在视觉感知和答案生成过程中具有语言感知（即以目标驱动为特征）的行为，通过思考、观察和回答的方式生成与问题相关的显著图像。

    Apr, 2024

  • 使用未标记的例子进行加权蒸馏

    本文探讨了一种主要用于训练深度神经网络的知识蒸馏方法，其使用未标记的数据集作为输入。该方法提出了一种基于 “去偏” 方法的小网络共同训练框架，不需要超参数并且能在普遍学术数据集上展示出明显的改进效果。

    Oct, 2022

  • 使用远程监督的证据检索，无需证据标记即可实现问答

    本研究探讨使用仅通过回答标签的远程监督来训练模型，从大规模语料库中学习寻找证据的能力，提出了一种新的方法（DistDR），该方法在多跳和单跳问答基准测试中与全监督的最先进方法不相上下。

    Oct, 2021

  • 针对段落检索的群体相关性标注

    本文提出一种基于知识蒸馏的信息检索深度学习方法，通过设计一个简单但高效的教师模型，从复杂的教师模型中提取集体知识，加速训练并提高检索排序的性能。

    May, 2022

  • 这个问题会被回答吗？通过答案模型蒸馏进行问题过滤以实现更高效的问答

    本文提出了一种新方法，通过筛选不会被回答的问题来提高问答系统的效率，这基于一个有趣的新发现：基于最先进的问答系统的答案置信度分数可以用仅使用输入问题文本的模型很好地逼近，这使得非答案置信度分数低于系统阈值的问题可以进行预先拦截。

    Sep, 2021

  • 基于双重纠正策略的 Top-N 推荐系统排名蒸馏

    本文提出了 Dual Correction strategy for Distillation (DCD)，该方法通过梯度对齐实现知识转移，将评分信息从教师模型传递到学生模型，以更高效地训练推荐系统，同时解决了每个模型预测错误时所出现的问题，并通过用户和物品两个方面来处理稀疏隐式反馈，实验结果表明，该方法优于现有的基线模型。

    Sep, 2021