Dec, 2020

VideoMix：重新思考视频分类的数据增强

PDF
TL;DR在视频分类任务中，我们首次系统地分析了各种数据增强策略的有效性，并提出了一个强大的增强策略 VideoMix，该策略通过将视频立方体插入另一个视频来创建新的训练视频；在各种数据增强基准上，VideoMix 一直表现优秀，在 Kinetics、Something-Something-V2 基准测试中始终优于其他增强基线，并提高了 THUMOS'14 中弱监督的动作定位性能和 AVA 中的视频检测任务。
video action classifiersoverfittingdata augmentation strategiesvideomixaction recognition
发现论文，激发创造
  • 视频动作识别的选择性卷积混合

    在本文中，我们提出了一种名为选择性体积混合（SV-Mix）的视频增强策略，以改善在训练样本有限的情况下深度模型的泛化能力，在各种视频动作识别基准上提升了基于 CNN 和 Transformer 模型的性能。

    Sep, 2023

  • ObjectMix：在视频中通过复制黏贴对象进行数据增强，以进行动作识别

    本文提出了一种使用实例分割进行数据增强的动作识别方法 ObjectMix，并通过 UCF101 和 HMDB51 数据集验证了其优于之前方法 VideoMix 的有效性。

    Apr, 2022

  • 学习数据有效的具有表征不变性的动作识别

    使用不同的数据增强策略对视频进行数据增强，结合现有的半监督学习框架，能够在低标签模式下提高 Kinetics-100/400, Mini-Something-v2, UCF-101 和 HMDB-51 数据集的性能，并在完全监督的情况下证明提高了性能。

    Mar, 2021

  • 一种特征空间多模态数据增强技术用于文本 - 视频检索

    本文介绍了利用文本 - 视频检索方法，并结合数据增强技术及多模态数据的方法，对大规模公共数据集 EPIC-Kitchens-100 的测试性能进行提升，灵敏的处理方式能以自然语言查询进行相关视频的查找。

    Aug, 2022

  • TransformMix: 从数据中学习变换和混合策略

    数据增强通过合成更多的训练样本提高深度学习模型的泛化能力。TransformMix 是一种自动化方法，通过应用学习到的变换和混合扩增策略来创建具有正确和重要信息的混合图像，从而提高性能。

    Mar, 2024

  • S3Aug：用于动作识别的分割、采样和平移

    本文介绍了 S3Aug，一种用于动作识别的视频数据增强方法。该方法通过分割和标签转换，从单个训练视频生成新的视频，并通过采样修改某些类别的标签图像，以生成多样的视频，并通过移动中间特征来增强生成视频帧之间的时间连贯性。通过在 UCF101、HMDB51 和 Mimetics 数据集上的实验证明了所提方法的有效性，尤其对于 Mimetics 数据集中的非上下文视频。

    Oct, 2023

  • ResizeMix：混合数据以保留对象信息和真实标签

    通过研究发现，基于图像显著性信息的数据混合并不一定对增强性能有太大帮助，采用更有效、更易于实现的 ResizeMix 方法进行数据混合比 CutMix 和基于显著性信息的方法更具优势。

    Dec, 2020

  • MiAMix: 通过多阶段增强混合样本数据增强方法增强图像分类

    通过引入一种名为 MiAMix 的新的 mixup 方法，将图像增强与 mixup 框架相结合，同时利用多种多样的混合方法，并通过随机选择混合掩码增强方法来改进混合方法，该研究表明 MiAMix 在提高性能的同时降低了计算负载。

    Aug, 2023

  • 对抗性增强训练使行动识别模型更能适应现实视频分布的变化

    提出了两种新的评估方法来评估模型对训练和测试数据之间的分布差异的鲁棒性，通过采用梯度上升在数据增强参数上生成对分类模型具有挑战性的视频视图的增强视图，并通过 ' 课程 ' 调度视频增强的强度来解决鲁棒性问题。在现实世界的应用中，通过对比基准，在三种最先进的动作识别模型 - TSM、Video Swin Transformer 和 Uniformer 上实验表明了所提出的对抗性增强方法的优越性能，从而提高了视频动作识别性能。

    Jan, 2024

  • 配置数据增强以减少视觉 Transformer 中位置嵌入的方差偏移

    我们提供了关于 Vision Transformers 中数据增强的问题以及正确的配置，以消除方差偏移的副作用，并通过实验证明采用我们的准则与当前数据增强配置相比能够提高 Vision Transformers 的性能。

    May, 2024