对抗性增强训练使行动识别模型更能适应现实视频分布的变化

Jan, 2024

对抗性增强训练使行动识别模型更能适应现实视频分布的变化

Adversarial Augmentation Training Makes Action Recognition Models More Robust to Realistic Video Distribution Shifts

Kiyoon Kim, Shreyank N Gowda, Panagiotis Eustratiadis, Antreas Antoniou, Robert B Fisher

TL;DR提出了两种新的评估方法来评估模型对训练和测试数据之间的分布差异的鲁棒性，通过采用梯度上升在数据增强参数上生成对分类模型具有挑战性的视频视图的增强视图，并通过 ' 课程 ' 调度视频增强的强度来解决鲁棒性问题。在现实世界的应用中，通过对比基准，在三种最先进的动作识别模型 - TSM、Video Swin Transformer 和 Uniformer 上实验表明了所提出的对抗性增强方法的优越性能，从而提高了视频动作识别性能。

Abstract

Despite recent advances in video action recognition achieving strong performance on existing benchmarks, these models often lack robustness when faced with natural →

video action recognition robustness distribution shifts evaluation methods adversarial augmentation

发现论文，激发创造

视频行为识别模型的大规模稳健性分析

本文对现有的视频动作识别模型进行大规模的复杂性分析，提供了不同的基准数据集，并研究了现有模型对 90 种不同扰动的鲁棒性，结果表明，基于 Transformer 的模型相对于基于 CNN 的模型更具鲁棒性。

Jul, 2022

动作识别的视频测试时间适应

该研究提出了一种针对空间 - 时间模型的方法，它能够在单个视频样本上进行特征分布对齐，保证了预测的一致性，并且在三个基准行动识别数据集上都表现出极高的性能。

Nov, 2022

学习数据有效的具有表征不变性的动作识别

使用不同的数据增强策略对视频进行数据增强，结合现有的半监督学习框架，能够在低标签模式下提高 Kinetics-100/400, Mini-Something-v2, UCF-101 和 HMDB-51 数据集的性能，并在完全监督的情况下证明提高了性能。

Mar, 2021

S3Aug：用于动作识别的分割、采样和平移

本文介绍了 S3Aug，一种用于动作识别的视频数据增强方法。该方法通过分割和标签转换，从单个训练视频生成新的视频，并通过采样修改某些类别的标签图像，以生成多样的视频，并通过移动中间特征来增强生成视频帧之间的时间连贯性。通过在 UCF101、HMDB51 和 Mimetics 数据集上的实验证明了所提方法的有效性，尤其对于 Mimetics 数据集中的非上下文视频。

Oct, 2023

稳健性的多重面貌：对于越界泛化的关键分析

本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

Jun, 2020

隐私保护深度行动识别：对抗学习框架和新数据集

本文提出一种带有隐私保护机制的视频动作识别模型，通过敌对训练来寻找能够最佳平衡目标任务性能与隐私保护程度的匿名转换方法，并给出了两种优化策略以实现对于攻击模型的普适隐私保护。同时，构建了一种全新的视频数据集 PA-HMDB51，为视觉隐私研究提供了有力支持。

Jun, 2019

计算机视觉中模型鲁棒性的傅里叶视角

计算机视觉中，通过数据增强方式可以提高鲁棒性，但增加高斯数据增强和对抗训练等方法并不能保证所有的污染类型都能同样得到提高，因此需要使用更多样的数据增强方式来缓解这些折衷。最近提出的 AutoAugment 方法在清晰精度和鲁棒性方面均得到了最佳表现。

Jun, 2019

使用对抗样本进行训练增强的鲁棒语音识别

本文探讨了使用对抗性样本在训练语音识别系统中以增强深度神经网络声学模型的鲁棒性，结果表明相对于传统的数据通过数据转换技术实现的增强，动态利用当前声学模型参数生成对抗性样本的方法在 Aurora-4 和 CHiME-4 单通道实验中具有显著的改善表现。此外，将对抗性样本与老师 / 学生培训相结合，可以进一步提高识别准确率，Aurora-4 相对误差率降低了 23%。

Jun, 2018

RSA: 用随机化模拟加强人类动作识别的鲁棒性

本文提出了一种基于模拟数据的增强法，即随机模拟增强 (RSA) 框架，其通过合成数据来增强真实数据，提高行为识别网络的鲁棒性。实验表明，使用该增强法可以显著提高当前最先进的行为识别网络的性能或者减少所需真实数据的数量，从而使识别性能得到优化。

Dec, 2019

通过适应和增强检测时间鲁棒性

本文提出了一种简单的方法，在没有模型训练过程的任何假设的情况下，通过在测试数据点上执行不同的数据增强并通过最小化平均输出分布的熵来适应模型参数，从而提高模型的鲁棒性。该方法在多个基准测试中都表现出色，并在 ImageNet-C、ImageNet-R 和 ImageNet-A 分布偏移基准测试中实现了最先进的结果。

Oct, 2021