spatial-temporal modeling | BriefGPT

关键词spatial-temporal modeling

搜索结果 - 10

VideoLLaMA 2: 在视频 LLMs 中推进时空建模与音频理解
本论文介绍了一种名为 VideoLLaMA 2 的视频大型语言模型，它通过嵌入空间 - 时间卷积 (STC) 连接器和联合训练音频分支来增强视频和音频任务中的空间 - 时间建模和音频理解能力，并在多个任务上展示了竞争性结果，进一步提升了多模
PDF23 days ago
联合时空建模和对比学习的自监督心率测量
我们的研究论文介绍了关于自监督心率测量的解决方案，其中我们提出了基于空间 - 时间建模和对比学习的自监督心率估计算法，并通过组合策略获得更准确的心率估计，最终在挑战赛中获得第二名。
PDFa month ago
4Diffusion: 多视角视频扩散模型的 4D 生成
我们提出了一种新颖的 4D 生成管道，名为 4Diffusion，旨在从单目视频中生成空间时间一致的 4D 内容。通过将可学习的运动模块与冻结的 3D 感知扩散模型结合，我们设计了一个为多视图视频生成量身定制的统一扩散模型，以捕捉多视图空间
PDFa month ago
全球感知增强的时空图循环网络：交通流预测的新框架
该论文介绍了一种新颖的交通预测框架，它包括两个核心组件：空间 - 时间图递归神经网络和全局感知层。通过引入序列感知图神经网络，该模型可以学习不同时间步骤上的非固定图并捕捉局部时间关系。为了增强模型的全局认知，该框架还设计了三种独特的全局空间
PDF6 months ago
连续时空模型的操作员学习及混合优化方案
基于运算器学习的最近进展，本文提出了一种连续时空数据驱动建模框架，并通过三个数值实例研究了该框架的性能，结果证实了该建模框架的分辨率不变性，并展示了仅使用短期时间序列数据进行稳定长期模拟的能力，此外，也表明了通过混合优化方案，结合短期和长期
PDF7 months ago
多图卷积网络用于姿态预测
本文提出了一种基于多图卷积网络 (MGCN) 的三维人体姿势预测方法，该方法结合自然结构和序列注意力，同时捕获空间和时间信息，并在人体运动预测的基准数据集上表现出比现有方法更好的效果。
PDFa year ago
重新考虑用于小样本动作识别的时空建模
本篇论文提出了 SloshNet，一个新的框架，重新审视少样本动作识别中的空间时间建模，并自动搜索低级和高级空间特征的最佳组合，同时利用 transformer 技术对全局和局部的时间关系进行建模，实现了对四种数据集的优秀结果。
PDFa year ago
ECCVMorphMLP：一种用于时空表征学习的高效 MLP 骨干网络
这篇研究提出了一种名为 MorphMLP 的自注意力自由骨干网络架构，它利用简洁的全连接层进行视频表示学习，并在多维度、多尺度因子分解的情况下实现了很好的精度 - 计算平衡，相比最新的最先进模型在视频基准测试中显著降低了计算量，同时获得更好
PDF3 years ago
多焦点高斯邻域关注的视频众包定位及大规模基准数据集
本研究提出了一种多重高斯邻域注意力机制 (即 GNA) 来进行视频人群定位，利用该方法能够准确地捕捉到运动物体的空间尺度变化，并针对这种目的开发了一种名为 GNANet 的神经网络模型。同时，为了方便未来的研究，还引入了一个大规模的人群图像
PDF3 years ago
AAAIStNet：行动识别的局部和全局空时建模
本文提出了一种新的空时网络（StNet）架构来进行局部和全局的空时建模，通过将 N 个连续的视频帧堆叠成一个超级图像，并对超级图像应用二维卷积来捕获局部空时关系，再对局部空时特征映射应用时间卷积来建模全局空时关系，该方法在动作识别方面优于现
PDF6 years ago