Sep, 2023

MAGIC-TBR: 基于变形器的群体环境下身体行为识别的多视角注意力融合

PDF
TL;DR提出了一种名为 MAGIC-TBR 的多视角注意力融合方法，通过基于变压器的方法结合从视频中提取的特征和相应的离散余弦变换系数，探索细节行为（如手势、整理或笨拙）的检测。在 BBSI 数据集上进行了实验，结果证明了所提特征融合与多视角注意力的有效性。
bodily behavioral languageautomated analysisartificial intelligence systemsbehavioral language cuesmultiview attention fusion
发现论文，激发创造
  • 社交互动中的身体行为：新的注释和最新评估

    本文介绍了 BBSI 的方法和结果，BBSI 是对连续社交互动中复杂身体行为的第一个注释集，其包含了 15 个不同的身体语言类别，并采用四个空间 - 时间特征变体作为 PDAN 的输入来自动检测这些行为，结果表明这是一个困难的任务，但有很大改进的空间。

    Jul, 2022

  • 多人对话中人类行为分析的数据增强

    我们的研究团队 HFUT-VUT 在 ACM Multimedia 2023 的 MultiMediate Grand Challenge 2023 中的解决方案覆盖了三个子挑战：身体行为识别，眼神接触检测和下一个发言者的预测。我们选择 Swin Transformer 作为基线，并利用数据增广策略来解决上述三个任务。具体来说，我们裁剪原始视频以去除其他部分的噪声。同时，我们利用数据增广来提高模型的泛化能力。结果，我们的解决方案在平均精度均值方面对身体行为识别取得了最佳结果 0.6262，并在相应的测试集上的眼神接触检测精确度方面获得了 0.7771 的准确率。此外，我们的方法在下一个发言者的预测方面也实现了 0.5281 的不加权平均召回率的可比较结果。

    Aug, 2023

  • 多人姿势预测的轨迹感知身体交互变换器

    本文提出了一种称之为 TBIFormer 的新型多人姿态预测框架，利用社交身体相互作用自我关注机制和轨迹感知相对位置编码来高效地建模身体部位间的交互影响，实验结果表明，在短时和长时预测上，该方法在 CMU-Mocap、MuPoTS-3D 和合成数据集方面，都显著优于现有的其他方法。

    Mar, 2023

  • TranSTYLer: 多模态行为风格转换用于面部和身体姿势生成

    使用 TranSTYLer 模型，该模型基于多模态转换器，可以在保留行为形状的同时，将一个虚拟代理人的行为表现风格转移到另一个代理人身上，同时确保传达源行为的含义为主。

    Aug, 2023

  • BodyFormer：基于 Transformer 的语义引导的三维身体手势合成

    提出了一种基于变分变压器的新型自动化从语音中合成的三维体手势的框架，通过学习语音和三维手势之间的映射，使用概率分布生成多样化的手势，并通过预训练方案解决数据稀缺性问题，结果显示比现有方法产生更逼真、更恰当和更多样化的身体手势。

    Sep, 2023

  • 多媒体 '23: 社交互动中的参与度估计和身体行为识别

    MultiMediate'23 挑战基于 NOXI 数据库和 MPIIGroupInteraction 语料库，首次对参与度估计与身体行为识别进行了人类社交行为分析任务的研究，并提出了新的标注集和基准结果。

    Aug, 2023

  • 基于 Transformer 的联合编码情感识别和情感分析

    本文介绍一种基于 Transformer 的联合编码方法，用于情感识别和情感分析，已提交至 ACL20 多模式语言比赛评估。

    Jun, 2020

  • 行为变换器：一石多鸟地克隆 $k$ 种模式

    本文介绍了一种名为 BeT 的新技术，该技术利用多模式建模，并结合动作离散化技术和多任务操作校正，在离线强化学习和行为克隆方面表现出色。我们在各种机器人操作和自驾行为数据集上进行了实验评估，并显示出 BeT 显着改善了解决示范任务的先前最先进工作，同时捕获了预先收集的数据集中存在的主要模式。

    Jun, 2022

  • 基于时空多模态标记的 Transformer RGBT 跟踪

    提出了一种新颖的 Transformer RGBT 跟踪方法，通过融合静态多模态模板和多模态搜索区域中的时空多模态令牌来处理目标外观变化，以实现鲁棒的 RGBT 跟踪，并通过注意机制增强多模态模板令牌的目标特征，从而促进多模态增强的目标变化信息的传递。该方法在三个 RGBT 基准数据集上的实验证明了与其他最先进的跟踪算法相比具有竞争力的性能，帧率可达 39.1。

    Jan, 2024

  • 个性化行为感知 Transformer 模型用于多行为序列推荐

    本文研究了 Multi-Behavior Sequential Recommendation 问题，提出了一种名为 Personalized Behavior-Aware Transformer (PBAT) 的框架，该框架通过建模个性化模式和多方面的序列协作来提高推荐性能。

    Feb, 2024