Nov, 2023

PECoP: 参数高效的连续预训练用于动作质量评估

PDF
TL;DR通过增加额外的预训练阶段，我们引入了 PECoP 这一创新的参数高效的连续预训练框架，并通过自监督学习来减少领域转变对于迁移学习的影响。我们通过 3D 适配器，只更新适配器模块参数的方式，展示了 PECoP 提升最新的 AQA 方法（MUSDL、CoRe 和 TSA）在 JIGSAWS、MTL-AQA 和 FineDiving 基准数据集上的表现，以及超过同类研究的新帕金森病数据集 PD4T 表现（提升 3.56%）。
action quality assessmentaqapecop3d-adaptersparkinson's disease dataset
发现论文，激发创造
  • CoFInAl：利用粗到细的指令对鉴定行动质量进行增强

    CoFInAl 提出了一种层级方法，将动作质量评估（AQA）改造为一个粗粒度到细粒度分类任务，通过与庞大的预训练任务对齐，以捕捉 AQA 中的微妙信号，实验结果在两个长期 AQA 数据集上取得了最先进的性能。

    Apr, 2024

  • 时序解析变换器用于动作质量评估

    通过时间解析变压器将运动分解为时间部分级表示，采用对比回归与分级损失函数用于动作质量评估，提高了当前方法在多个 AQA 基准测试中的性能。

    Jul, 2022

  • PASTA：预训练的动作 - 状态 Transformer 代理

    通过自我监督学习，本研究建立了一种预训练行为 - 状态 Transformer 代理模型（PASTA），并在行为克隆、离线 RL、传感器故障鲁棒性以及动态变化适应等广泛领域的下游任务中进行了综合研究和比较设计选择，以提供有价值的见解给从业者，从而构建更加鲁棒的模型并推动 RL 策略学习的发展。

    Jul, 2023

  • PPEA-Depth: 面向自监督单目深度估计的渐进式参数高效调整

    自监督单目深度估计在自动驾驶和机器人领域具有重要意义。本文提出了一种渐进参数高效适应的方法，通过转移预训练的图像模型来实现自监督深度估计，解决了动态场景中的性能优化挑战，并通过在 KITTI、CityScapes 和 DDAD 数据集上进行广泛实验，取得了最先进的效果。

    Dec, 2023

  • 多阶段对比回归用于动作质量评估

    近年来，视频行为质量评估（AQA）受到越来越多的关注。大多数现有方法通常通过考虑整个视频来解决 AQA 问题，却忽视了行为的内在阶段级别特征。为了解决这个问题，我们设计了一种新的多阶段对比回归（MCoRe）框架来处理 AQA 任务。此方法可以有效提取时空信息，同时通过将输入视频分割成多个阶段或过程来降低计算成本。受到图形对比学习的启发，我们提出了一种新的阶段对比学习损失函数来提高性能。结果表明，MCoRe 在广泛采用的精细化 AQA 数据集上展示了迄今为止的最先进结果。

    Jan, 2024

  • 跨多个动作的行动质量评估

    本研究通过实验探究在行动质量评估（AQA）环境中是否可能进行知识转移，发现跨多项行动学习单一模型可以提高性能。该实验基于作者发布的 AQA 数据集，在其中进行了 1106 个动作样本的实验，结果表明多项行为的合并样本有助于当前方法的性能提升。

    Dec, 2018

  • ALP：面向感知的动作感知学习

    本文提出了一种基于行为感知的具有身体的学习框架，该框架通过结合强化学习和反向动力学预测目标来将行动信息纳入表示学习中，主动探索复杂的 3D 环境，从而学习可推广的任务不可知表示，并收集下游训练数据，以目标检测和语义分割任务为例，证明了该方法在视觉模型基准测试中的优势表现，并表明通过在更贴近环境和任务的实时数据上进行训练，我们的方法比在 ImageNet 等固定数据集上预训练的模型更具有鲁棒性。

    Jun, 2023

  • TTA-COPE：类别级物体姿态估计的测试时自适应

    本研究提出了一种名为 TTA-COPE 的测试时适应方法，用于类别级别对象姿态估计，通过序列在线处理测试数据，使用自训练损失和姿态感知置信度设计姿态集合方法，无需运行时访问源域，实验结果表明该方法可以提高半监督和无监督设置下的对象姿态表现。

    Mar, 2023

  • 一种多任务学习方法用于行动质量评估

    提出了一种多任务学习方法来改善行动质量评估 (AQA) 的表现，此方法解决了细粒度行动识别、评注生成和评估 AQA 值三个相关任务，结果表明出优于单任务学习方法，获得了目前的最优结果。

    Apr, 2019

  • UDA-COPE: 面向类别级目标位姿估计的无监督域自适应

    本文提出了一种无监督领域自适应方法（UDA-COPE）来实现基于类别的物体姿态估计，不需要使用目标域的姿态标签，而是使用一种带有学生 - 教师自监督学习框架的姿态估计网络进行训练，并在预测出来的归一化物体坐标空间地图和真实点云之间介绍了一个双向过滤器来提供给学生网络训练更可靠的伪标签，实验结果表明，该算法在不使用目标域 GT 标签的情况下，可以达到与基于 GT 标签的现有方法相当甚至更好的表现。

    Nov, 2021