Jan, 2024

多模态行动质量评估

PDF
TL;DR通过提出一种渐进自适应多模态融合网络（PAMFN），该网络利用视觉信息和音频信息相结合以提高动作质量评估的准确性。研究表明，音频是一种有效的补充信息，尤其对于带有背景音乐的体育项目，如花样滑冰和韵律体操。PAMFN 由三个专注于各自信息的分支和一个逐渐聚合各种信息的混合分支构成，采用了一些创新模块来建立各分支之间的联系。这个研究还引入了自适应融合模块，旨在学习不同动作部分的适应性多模态融合策略。
action quality assessmentaudio informationmultimodal fusion networkmodality-specific branchesadaptive fusion module
发现论文，激发创造
  • 一种多任务学习方法用于行动质量评估

    提出了一种多任务学习方法来改善行动质量评估 (AQA) 的表现，此方法解决了细粒度行动识别、评注生成和评估 AQA 值三个相关任务，结果表明出优于单任务学习方法，获得了目前的最优结果。

    Apr, 2019

  • 时序解析变换器用于动作质量评估

    通过时间解析变压器将运动分解为时间部分级表示，采用对比回归与分级损失函数用于动作质量评估，提高了当前方法在多个 AQA 基准测试中的性能。

    Jul, 2022

  • 嵌套神经符号法对动作质量评估的研究

    使用计算机视觉进行行动质量评估的研究通过神经网络从视频数据中提取可解释的符号，并应用规则进行质量评估。该研究以潜水为案例研究，发现领域专家更喜欢该系统，并认为它比纯粹的神经网络方法在潜水行动质量评估方面更具信息量。该系统还实现了先进的动作识别和时间分割，并自动生成详细报告，将潜水行动分解为各个元素，并提供带有可视证据的客观评分。通过一组领域专家的验证，该报告可以用于协助评委打分，培训评委，并向潜水员提供反馈。研究人员将公开其所有的标注训练数据和代码以便于可重复性。

    Mar, 2024

  • 跨多个动作的行动质量评估

    本研究通过实验探究在行动质量评估（AQA）环境中是否可能进行知识转移，发现跨多项行动学习单一模型可以提高性能。该实验基于作者发布的 AQA 数据集，在其中进行了 1106 个动作样本的实验，结果表明多项行为的合并样本有助于当前方法的性能提升。

    Dec, 2018

  • 音频问答的多尺度关注

    本篇研究提出了一种多尺度窗口注意力融合模型，通过异步混合注意力模块和多尺度窗口注意力模块，提高了音频场景理解中的时间推理能力。

    May, 2023

  • 通过任务一致的分数 - 辨别特征分布建模进行持续行动评估

    连续学习的行动质量评估方法，通过任务一致的得分判别特征分布来减轻遗忘问题，并使用有限内存的特征 - 得分相关觉察重复数据，以及开发行动一般 - 特定图形来学习和解耦行动的知识。

    Sep, 2023

  • 多阶段对比回归用于动作质量评估

    近年来，视频行为质量评估（AQA）受到越来越多的关注。大多数现有方法通常通过考虑整个视频来解决 AQA 问题，却忽视了行为的内在阶段级别特征。为了解决这个问题，我们设计了一种新的多阶段对比回归（MCoRe）框架来处理 AQA 任务。此方法可以有效提取时空信息，同时通过将输入视频分割成多个阶段或过程来降低计算成本。受到图形对比学习的启发，我们提出了一种新的阶段对比学习损失函数来提高性能。结果表明，MCoRe 在广泛采用的精细化 AQA 数据集上展示了迄今为止的最先进结果。

    Jan, 2024

  • 模块化混合注意力网络用于视频问答

    多模态机器学习中的网络结构复杂，通过连接可重用且可组合的神经单元，可以以更直观的方式完成多模态机器学习任务的网络构建，同时通过参数共享大大减少了空间复杂度。

    Nov, 2023

  • 行动连锁：通过大语言模型进行忠实的多模态问答

    我们提出了一种多模态且具有检索增强的问题回答的行动链框架，通过系统提示和预设计的行动将复杂问题分解为推理链。我们使用三种可调整领域的 “即插即用” 操作来从异构来源中检索实时信息，并提出了一个多参考信任分数（MRFS）来验证和解决答案中的冲突。通过公共基准测试和 Web3 案例研究，我们验证了 CoA 相对于其他方法的能力。

    Mar, 2024

  • TSA-Net：管道自注意力网络用于动作质量评估

    本文提出了一种基于 Tube Self-Attention Network 的方法来评估视频中行动的质量，并通过引入单个对象跟踪器和 Tube Self-Attention Module 来提取丰富的时空上下文信息。此外，在 AQA-7, MTL-AQA 数据集上进行广泛实验，并提出了一个名为 FR-FS 的数据集以探究花样滑冰场景中的基本行动评估。

    Jan, 2022