Jun, 2024

FootBots: 基于 Transformer 的足球运动预测架构

PDF
TL;DR足球中的运动预测通过捕捉球员和球的相互作用的复杂动力学。我们提出了 FootBots，一种基于编码器 - 解码器变压器结构的体系结构，通过等变性属性来解决运动预测和有条件的运动预测。FootBots 使用集合注意力块和多注意力块解码器来捕捉时间和社交动力学。我们的评估使用两个数据集：一个真实的足球数据集和一个定制的合成数据集。合成数据集的洞见突显了 FootBots 社交注意机制的有效性和有条件运动预测的重要性。对真实足球数据的实证结果表明，FootBots 在运动预测方面优于基准模型，并在有条件任务中表现出色，例如根据球的位置预测球员，根据球和防守（进攻）球队预测进攻（防守）球队，以及根据所有球员预测球的位置。我们的评估连接了定量和定性研究结果。
发现论文，激发创造
  • FootAndBall: 综合球员和球探测器

    本文介绍了一种名为 FootAndBall 的基于深度神经网络的检测器，它可以有效地检测高清、远距离的足球比赛视频中的足球和球员，并且可以以任意分辨率处理输入视频流，由于其专业设计，比通用深度神经网络物体检测器（如 SSD 或 YOLO）少两个数量级的参数，因此可以实时处理高分辨率的输入视频流。

    Dec, 2019

  • 特征组合与注意力相遇：百度足球嵌入和基于 Transformer 的时间检测

    本文提出了一种基于多阶段范式的方法，通过使用动作认知模型提取高级语义特征和设计转换器来定位目标事件，以检测和确定足球广播视频中事件的发生时间，并在 SoccerNet-v2 Challenge 中获得了最新的表现，在动作识别和重播地面任务上均表现出最先进的性能。

    Jun, 2021

  • 潜变量序列集合变压器用于联合多智能体运动预测

    提出了基于自动机器人（AutoBots）的潜变量序列集变压器模型，具有单代理预测和多代理预测的能力，在全局 nuScenes 车辆运行预测领域取得了最佳成果，使用了学习可并处理的时间和社会 MHSA 模块的编码器，并结合可学习的种子参数，使用临时和社会 MHSA 模块的解码器能够高效地对整个未来场景进行推断。

    Feb, 2021

  • 使用集合变换器和分层双向长短时记忆网络从多智能体运动环境中推断球轨迹

    该论文提出了一种基于 Set Transformer 和层次结构的推理框架，用于通过球员轨迹推断足球的轨迹，实现了自然且准确的轨迹预测，并提出了几种实用的应用包括缺失轨迹计算与自动放映。

    Jun, 2023

  • 基于社交动作预测的机器人交互行为生成

    在本文中，我们提出了一种在共享的人机表示空间中建模社交动作预测的方法，通过这种方法我们能够合成与人类在社交场景中相互作用的机器人动作，即使在运动训练中没有观察到任何机器人。我们开发了一种名为 ECHO 的基于 Transformer 的架构，在上述共享空间中操作来预测社交场景中遇到的个体未来动作。与先前的工作相反，我们重新制定了社交动作问题，将其视为根据周围的个体来改进预测的单个动作的问题，这有助于训练，并且在场景中只有一个人时允许进行单个动作预测。我们在多人和人机动作预测任务中评估了我们的模型，并且取得了领先的性能，而且具有高效和实时执行的特点。此外，我们的定性结果展示了我们的方法通过文本命令生成可控制的人机交互行为的有效性。

    Feb, 2024

  • 基于 Transformer 的多模式神经网络用于自动驾驶的运动预测

    本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。

    Sep, 2021

  • 基于 Transformer 模型和追踪数据的热力图预测

    该研究提出了一种能够预测传球潜在终点位置及传球前球员移动如何影响最终结果的新型深度学习网络结构，并通过分析超过 28,000 次传球事件，实现了超过 0.7 的 Top-1 准确率。基于预测结果，可以更好地理解场地控制和传球选择，以衡量球员的无球移动对防守表现的贡献，并为足球分析师提供更好的工具和指标，以理解球员随时间的移动如何影响比赛策略和最终胜利。

    Sep, 2023

  • TENET: 用于有效时序流的 Transformer 编码网络，用于运动预测

    本报告提出了一种用于自主驾驶的有效的运动预测方法，采用基于 Transformer 的输入编码和轨迹预测，引入了 Temporal Flow Header 以增强轨迹编码，最后使用高效的 K-means 集成方法，在 Argoverse 2 Motion Forecasting Challenge 赢得了第一名，最小 brier-FDE 评分达到 1.90，表现优于现有技术。

    Jun, 2022

  • DexDribbler: 通过动态监督学习器的熟练足球操纵

    为了处理不同的地形和模仿智能行为，学习四肢机器人熟练行走策略变得越来越受欢迎。尽管对于人类和智能动物来说这是一种自然行为，但在学习社区中，对于操纵移动物体和通过腿部进行运动（如踢足球）的联合操作却受到了少量关注。解决这个多任务问题的关键挑战是根据操纵对象的状态和目标来推断行走的目标，这两者之间的隐含关系很难直接从训练经验中捕捉。我们提议添加一个反馈控制模块，以准确计算所需的身体级运动，并将输出作为关节级行走监督显式地使用。我们进一步利用改进的球体动态模型、扩展的上下文辅助估计器和综合的球体观察器来促进将在仿真中学习的策略转化到现实世界中。我们观察到我们的学习方案不仅可以使策略网络更快地收敛，还可以使足球机器人在平坦表面上执行精巧的运动，如急转弯和转向，这是以前方法所缺乏的。视频和代码可在此网址获得。

    Mar, 2024

  • 利用 Transformer 进行深度足球描述：数据集、语义相关损失和多级评估

    本文通过深度学习为足球视频生成标题，并介绍了一个包含 22k 个标题 - 视频剪辑对和三种视觉特征（图像、光流和修复）的数据集，使用 transformer、ConvNets 和视觉语言特征融合的模型生成标题，并在句法、语义和语料库三个层面上评估生成的标题。研究表明，使用更多视觉特征和注重选择词汇语义的损失可以提高生成标题的多样性和评分。

    Feb, 2022