IJCAIApr, 2023

利用时间对抗性增强提高视频表现

PDF
TL;DR本研究提出了一种新的视觉增强技术 (Temporal Adversarial Augmentation), 该技术利用时间关注，通过最大化与时间相关的损失函数来移动神经网络的注意力分布，实现神经网络对于视频剪辑的视角多样化，增强了神经网络的泛化能力，提高模型对于 ODD 情况的稳健性，不需要额外的参数或计算成本。
发现论文，激发创造
  • 视频域自适应的时间关注对齐

    本研究提出了一个更大规模的视频领域自适应数据集 UCF-HMDB_full，并探究了不同的 Integration 方法以及通过指定领域距离来显式关注时间动态的方法 TA3N 来实现更有效的域适应。

    May, 2019

  • 智能多视图测试时间增强

    通过智能测试时间增强 (TTA) 算法，在视角变化的情况下提高图像分类模型的稳健性和准确性，该方法根据预测不确定性指标智能选择最佳增强方法，并通过两个阶段的过程来实现该选择，实验验证证明这种方法可以在多个数据集和神经网络架构上获得平均准确率提高 1.73%，突出了在智能增强策略方面进一步探索的潜力。

    Jun, 2024

  • 利用测试时间增强和一致性评估进行异常检测

    本文提出一种针对神经网络对未知数据的检测算法，名为 TTA-AD，借鉴了一种新的观察方法，实验证明 TTA-AD 在不同高效图像基准数据集下，运行时间比现有基于分类器的算法下降了 60%~90% 且具有可比较或更好的检测性能。

    Jun, 2022

  • 通过测试时间增强来改进文本分类

    本文提出了一种改进的测试时间增强技术并设计出相应的增强策略，结果表明用于语言模型上的测试时间增强可以显著提高模型的准确性。

    Jun, 2022

  • 增强 2D-TAN: 一种用于人类中心的时空视频定位的两阶段方法

    本研究提出了一种有效的两阶段方法，利用增强的 2D-TAN 对文本描述进行时间上的定位，同时使用 MDETR 模型生成每帧包围盒并设计了一组手工规则，筛选出与定位短语最匹配的包围盒。

    Jun, 2021

  • 自适应增强对比的时态图表示学习

    提出了一种新颖的 Temporal Graph representation learning with Adaptive augmentation Contrastive (TGAC) 模型，该模型通过将先验知识与时间信息相结合，对时态图进行自适应增强，并通过定义增强之间的相互视角对比和内部视角对比来构建对比目标函数，以减少网络中的噪声。广泛的实验证明，该模型优于其他时态图表示学习方法。

    Nov, 2023

  • 理解测试时数据增强

    利用数据增强在测试期间产生平均输出的测试时间增强（TTA）是一种非常强大的启发式算法，本文旨在为 TTA 提供理论保证并澄清其行为。

    Feb, 2024

  • 面向大规模视频域自适应的时态关注对齐

    提出了两个大规模视频领域自适应数据集，并研究了不同的视频 DA 集成方法，展示了同时对齐和学习时间动态可实现有效对齐的效果，最后提出了一个基于时间注意力的对抗适应网络 TA3N，实现更有效的领域对齐，达到了四个视频 DA 数据集的最优性能。

    Jul, 2019

  • 深度神经网络中不确定性校准的测试时间增强方法

    本文提出一种基于测试时数据扩充的新技术（分别名为 M-ATTA 和 V-ATTA），以提高深度模型的图像分类的不确定性校准，实证结果表明所提出的方法在保持基线分类性能的同时优于现有的校准技术。

    Apr, 2023

  • 针对视频分类的对抗训练分析与扩展

    本文提出了三种防御方法来增强对多种攻击类型的鲁棒性，包括自适应防御技术 Adaptive AT，课程式防御技术 Curriculum AT 和将 AT 与去噪生成对抗网络相结合的生成式防御技术 Generative AT，并在 UCF101 数据集上进行了实验。

    Jun, 2022