Mar, 2024

嵌套神经符号法对动作质量评估的研究

PDF
TL;DR使用计算机视觉进行行动质量评估的研究通过神经网络从视频数据中提取可解释的符号，并应用规则进行质量评估。该研究以潜水为案例研究，发现领域专家更喜欢该系统，并认为它比纯粹的神经网络方法在潜水行动质量评估方面更具信息量。该系统还实现了先进的动作识别和时间分割，并自动生成详细报告，将潜水行动分解为各个元素，并提供带有可视证据的客观评分。通过一组领域专家的验证，该报告可以用于协助评委打分，培训评委，并向潜水员提供反馈。研究人员将公开其所有的标注训练数据和代码以便于可重复性。
action quality assessmentcomputer visionneuro-symbolic paradigmdivingannotated training data
发现论文，激发创造
  • 时序解析变换器用于动作质量评估

    通过时间解析变压器将运动分解为时间部分级表示，采用对比回归与分级损失函数用于动作质量评估，提高了当前方法在多个 AQA 基准测试中的性能。

    Jul, 2022

  • 一种多任务学习方法用于行动质量评估

    提出了一种多任务学习方法来改善行动质量评估 (AQA) 的表现，此方法解决了细粒度行动识别、评注生成和评估 AQA 值三个相关任务，结果表明出优于单任务学习方法，获得了目前的最优结果。

    Apr, 2019

  • GAIA: AI 生成视频行动质量评估的重新思考

    通过从因果推理的新颖视角进行大规模主观评估，我们构建了一个通用的人工智能生成动作数据集 GAIA，用以评估文本到视频模型在生成视觉合理的动作方面的能力。结果显示，传统的动作质量评估方法、近期 T2V 基准中与动作相关的指标以及主流的视频质量方法与人类意见的相关性较低，表明当前模型与人类在 AI 生成视频中对动作的感知模式之间存在较大差距。我们的发现强调了动作质量作为研究 AI 生成视频的独特视角的重要性，并可以促进在 AI 生成视频中具有增强能力的动作质量评估方法的发展。

    Jun, 2024

  • 多模态行动质量评估

    通过提出一种渐进自适应多模态融合网络（PAMFN），该网络利用视觉信息和音频信息相结合以提高动作质量评估的准确性。研究表明，音频是一种有效的补充信息，尤其对于带有背景音乐的体育项目，如花样滑冰和韵律体操。PAMFN 由三个专注于各自信息的分支和一个逐渐聚合各种信息的混合分支构成，采用了一些创新模块来建立各分支之间的联系。这个研究还引入了自适应融合模块，旨在学习不同动作部分的适应性多模态融合策略。

    Jan, 2024

  • 跨多个动作的行动质量评估

    本研究通过实验探究在行动质量评估（AQA）环境中是否可能进行知识转移，发现跨多项行动学习单一模型可以提高性能。该实验基于作者发布的 AQA 数据集，在其中进行了 1106 个动作样本的实验，结果表明多项行为的合并样本有助于当前方法的性能提升。

    Dec, 2018

  • 通过任务一致的分数 - 辨别特征分布建模进行持续行动评估

    连续学习的行动质量评估方法，通过任务一致的得分判别特征分布来减轻遗忘问题，并使用有限内存的特征 - 得分相关觉察重复数据，以及开发行动一般 - 特定图形来学习和解耦行动的知识。

    Sep, 2023

  • 多阶段对比回归用于动作质量评估

    近年来，视频行为质量评估（AQA）受到越来越多的关注。大多数现有方法通常通过考虑整个视频来解决 AQA 问题，却忽视了行为的内在阶段级别特征。为了解决这个问题，我们设计了一种新的多阶段对比回归（MCoRe）框架来处理 AQA 任务。此方法可以有效提取时空信息，同时通过将输入视频分割成多个阶段或过程来降低计算成本。受到图形对比学习的启发，我们提出了一种新的阶段对比学习损失函数来提高性能。结果表明，MCoRe 在广泛采用的精细化 AQA 数据集上展示了迄今为止的最先进结果。

    Jan, 2024

  • TSA-Net：管道自注意力网络用于动作质量评估

    本文提出了一种基于 Tube Self-Attention Network 的方法来评估视频中行动的质量，并通过引入单个对象跟踪器和 Tube Self-Attention Module 来提取丰富的时空上下文信息。此外，在 AQA-7, MTL-AQA 数据集上进行广泛实验，并提出了一个名为 FR-FS 的数据集以探究花样滑冰场景中的基本行动评估。

    Jan, 2022

  • 动作质量评估中的不确定性感知评分分布学习

    提出了一种基于分数分布学习的不确定性感知评分模型（USDL）来进行动作质量评估（AQA），该模型能够处理多个评委或他们的主观评估所造成的评分标签的内在模糊性，并且在多径不确定性感知分数分布学习（MUSDL）方法下能够探究评分的解耦组成部分，实验证明该方法在各种奥林匹克行动和外科活动数据集上均取得了新的排名第一。

    Jun, 2020

  • LOGO: 用于群体动作质量评估的长视频数据集

    构建了一个名为 LOGO 的多人长视频数据集，含有 8 名运动员的 200 个视频，用于行动质量评估。通过引入组信息和详细的动作过程注释，提出了一个简单而有效的方法来建模运动员之间的关系以及长视频中的潜在时序逻辑。系统地对几种常用的 AQA 方法和行动分割方法在 LOGO 数据集上的表现进行了评估，并展示了我们的方法达到了最先进的效果。

    Apr, 2024