CVPRJul, 2017

大规模视频标注中的深度神经网络多样性培育

PDF
TL;DR我们在 Google Cloud 和 YouTube-8M 视频理解挑战的背景下，研究了控制 DNN 多样性的因素。通过使用集成方法、模型过拟合或丢弃等方法来促进 DNN 的多样性，并介绍了我们在 Kaggle 竞赛（以 Yeti 团队的名义参赛）中排名第 7 位的视频理解问题的解决方案。
发现论文，激发创造
  • 使用大量异构神经网络进行标签去噪

    该研究讨论了使用知识蒸馏和混合技术的集成模型的方法，以解决大规模视频分类问题。

    Sep, 2018

  • 模型合成中的多样性诱导信息瓶颈

    本文提出了基于多样性损失函数的神经网络集成方法，以适应多模态数据的建模，并证明了其在数据分布变化和识别未知数据方面的显著性能提升。

    Mar, 2020

  • 高效视频标注的深度学习方法

    我们提出了三个模型家族的集成模型来解决 “Google Cloud 和 YouTube-8M 视频理解挑战”，训练使用增强数据集并配合交叉验证，最终排名第 5。

    Jun, 2017

  • 通过多样性的专门深度神经网络集成实现对抗鲁棒性

    本文研究了利用多样的专业 CNNs 集成对黑盒对抗实例检测的影响，并加强白盒对抗攻击的生成，证明了不同专业集成的多样性如何减轻黑盒和白盒对抗示例的风险，并通过 MNIST 和 CIFAR-10 等实验证明了使用该集成可以检测大部分已知的黑盒对抗实例，从而显著降低敌人的风险率，但会在一定程度上增加干净样本的风险率。此外，相对于普通 CNN 和普通 CNN 集成，我们展示了集成生成白盒攻击的成功率显著下降，突显了集成中多样性对于开发更健壮模型的有益作用。

    May, 2020

  • 深度神经网络集成防御欺骗攻击：集成多样性、准确性和鲁棒性

    本文阐述了集成学习的一些基本概念，研究了如何优化集成学习的多样性来对抗敌对攻击，并提供了一些算法来学习如何生成高精度的集成预测。

    Aug, 2019

  • 神经网络集合中的多样性和泛化

    本文研究了集成技术在机器学习中的广泛应用，特别是在神经网络中多样性的确切角色、如何衡量它以及它如何促进神经网络集成算法的研究。在三种常用的损失函数和两种常用的模型组合策略的基础上，通过神经网络集成进行了实证验证。

    Oct, 2021

  • 多样化集成：众包机器学习实验

    通过竞赛平台的众包机器学习是一种流行且常见的方法，这篇论文开发了一种另类的众包框架来整合社区反馈，以解决群体不公平问题，并提供了关于部署这种框架的具体指导。

    Feb, 2024

  • 探索用于提升集成强健性的模型学习异质性

    通过形式分析和实证评估，本文展示了异构深度集成模型可以通过高集成多样性有效地利用模型学习的异质性以提高集成的鲁棒性。

    Oct, 2023

  • 针对 YouTube-8M 数据集的多标签视频分类的视频和标签先验编码

    本文介绍了针对 YouTube-8M 数据集进行多标签视频分类的深度神经网络模型，包括帧编码器、分类层、标签处理层和损失函数，并讨论了现有模型在该数据集上的效果及其成功或失败的原因，所提出的模型的大部分性能都高于基线模型，并且最终的模型集合在 Kaggle 比赛中排名第 8。

    Jun, 2017

  • YouTube-8M Kaggle 竞赛：挑战和方法

    本文介绍了我们参加 YouTube-8M 视频理解挑战的经历和成果，并提供了基于帧级数据的机器学习问题的深入分析和解决方案。我们通过统一平均的多剪辑集成方法，只使用提出的策略就实现了前十名的成绩，同时也介绍了一些有潜力但时间不足无法训练到收敛的方法。希望本文能起到对 YouTube-8M 多标签视频分类基准的一定回顾和指导作用，激发未来尝试和研究的灵感。

    Jun, 2017