CVPRMay, 2020

统一几个与零个拍摄的自我中心动作识别

PDF
TL;DR本文通过将 few-shot generalization 和 zero-shot generalization 相结合，并在传统的直接对齐基线上添加度量学习损失，探索了面向 open-set 分类的通用化方法，并在基于 EPIC-KITCHENS 数据集的新分裂的基础上进行了评估，结果表明这种方法可以提高零样本分类的准确性高达 10％，同时不损失 few-shot 性能。
egocentric action recognitionepic-kitchensopen-set classificationzero-shot generalizationmetric-learning loss
发现论文，激发创造
  • 零样本和少样本动作识别的生成式方法

    本文提出了一种零样本动作识别的生成性框架，该框架基于建模每个动作类，使用代表该动作类的属性向量的概率分布的参数的函数。特别地，我们假设视觉空间中任何动作类的分布参数都可以表示为一组基向量的线性组合，其中组合权重由动作类的属性给出。这篇文章的实验表明，和各种基线模型相比，在标准零样本和归纳 / 转导的情况下，我们的方法都获得了显着的性能提升。

    Jan, 2018

  • 针对 EPIC-Kitchens 的行为识别模型评估

    本文介绍了基于 EPIC-Kitchens 数据集的行动识别模型，比较了不同模型在具有长尾类分布、测试集中未见过环境和多任务等挑战下的表现，并探讨了模型的缺点和未来研究的方向。

    Aug, 2019

  • 基于度量的视频动作识别小样本学习

    本研究介绍了针对少样本学习的视频动作识别任务，采用双流模型和三种常见的基于度量的算法，通过一组卷积和递归神经网络视频编码器进行训练和评估，证实了双流设置的重要性，并发现原型网络和池化长短期记忆网络嵌入为少样本方法和视频编码器提供了最佳性能。在 Kinetics 600 数据集上进行的 5-shot、5-way 任务中，该设置在测试集上获得了 84.2% 的准确度，而在混淆度较高的 “挑战” 测试集上获得了 59.4% 的准确度。

    Sep, 2019

  • 一种用于真正零样本动作识别评估的新分割方法

    该论文针对零样本行为识别中的现有问题，提出了 True Zero-Shot (TruZe) 数据集，其中训练集、测试集和预训练类别没有任何重叠，对零样本行为识别任务进行了评估，并发现在该任务中未见类别性能普遍较低，实验结果也暗示少样本行为识别问题中存在类似的问题。

    Jul, 2021

  • 重塑自我中心视角

    本文介绍了拓展视角中最大数据集 EPIC-KITCHENS 的一种方法，推出了 EPIC-KITCHENS-100，其中使用头戴式相机记录了 45 个环境中长期非剧本活动的 100 小时、2000 万帧、90,000 个动作，在 fine-grained actions、action detection、action recognition、unsupervised domain adaptation、cross-modal retrieval 等领域提供了新的挑战与评估。

    Jun, 2020

  • 原型中心的关注学习在少样本动作识别中的应用

    本文提出了一种原型中心的注意力学习模型（PAL），通过引入原型中心对比学习损失和混合的注意力学习机制，PAL 模型能够有效地提高在少样本情况下的行为识别准确度，具有优异的性能表现。

    Jan, 2021

  • 自我中心动作检测的更强基线

    本研究介绍了一种针对 2021 EPIC-KITCHENS-100 竞赛中的自我中心视频动作检测方法，其主要采用滑动窗口策略生成建议，以较高的效率提高任务的检测性能。通过简单地采用这些策略，我们使用单个模型在测试集上达到了 16.10％的性能，相对于基线方法平均 mAP 提高了 11.7％。

    Jun, 2021

  • 远程学习：重新思考有限监督下的广义零样本学习

    本文提出了基于产品专家公式和 A UD 模块的零样本和少量样本归纳学习框架，利用来自非数据类的未标记采样来提高任意数量学习的泛化能力，并证明了该模型适用于有限监督场景下的广义零样本模型。

    Jul, 2021

  • 扩展自我视觉：EPIC-KITCHENS 数据集

    本文介绍了 EPIC-KITCHENS 数据库，它是一个大规模的第一人称视角视频数据库，其中包含了来自 32 个参与者的 55 小时视频，多样性与大规模性深度融合，视频被密集标记为总共 39.6K 个动作段和 454.3K 个物体边界框，并且注释与真实意图紧密相关，该数据库可用于第一人称视角视频领域的挑战评估和研究。

    Apr, 2018

  • 基于对象任务的零样本多标签动作识别中的组合性影响

    提出了 Dual-VCLIP 方法，以应对动态环境中机器人在与人类合作的任务中多标签动作识别的挑战，特别是涉及物体的任务。该方法在训练过程中仅学习两个提示，因此比其他方法更简单，通过在 Charades 数据集上验证了其性能，在完整数据集上表现良好，并在未见动作测试上显示出有希望的性能。

    May, 2024