spatio-temporal reasoning | BriefGPT

关键词spatio-temporal reasoning

搜索结果 - 12

STBench: 大型语言模型在时空分析中的能力评估
该论文通过评估大型语言模型的时空数据理解能力，将其能力分解为知识理解、时空推理、准确计算和下游应用四个维度，并通过构建基准数据集 STBench 以及对 13 个语言模型的评估实验，揭示现有语言模型在知识理解和时空推理任务上表现出色，且通过
PDF3 days ago
学习用于半监督动作识别的判别时空表示
采用自适应对比学习策略和多尺度时间学习策略，提出一种新型半监督动作识别方法，用于改进少量标记数据下的时空推理能力，取得了比之前先进方法更优越的结果。
PDF2 months ago
基于事件的移动物体检测的联合时空推理
基于事件的移动目标检测中，提出了一种新的联合时空推理框架，通过运动补偿来识别移动目标，并从运动信任度和几何结构中有效地检测移动目标的最终区域。
PDF4 months ago
面向动态音视情境的目标感知时空推理问题回答
本研究提出了一种针对音视频问答（AVQA）任务的目标感知联合时空基础网络，利用三种模态的一致性损失实现了问题感知的时空基础，增加了音频 - 视觉互动，采用了单一流结构中的融合方法，在 MUSIC-AVQA 数据集上的实验结果证明了该方法优越
PDFa year ago
ICML通过模块化运动程序进行动作问答
我们提出了一个名为 HumanMotionQA 的任务来评估模型在长形式人体运动序列上的复杂多步推理能力，同时提出了一种名为 NSPose 的神经符号方法。该方法使用符号推理和模块化设计通过学习运动概念、属性神经算子和时间关系来地面运动。我
PDFa year ago
VideoOFA: 为视频到文本生成进行的两阶段预训练
该研究提出了一种新的两阶段预训练框架来生成视频描述和回答问题，称为 VideoOFA 模型，在大规模图像 - 文本数据上预先训练表示学习，然后在中间视频 - 文本预训练阶段仅适应于视频数据来学习时空推理等视频特定技能，这使得该模型在四个视频
PDFa year ago
ECCV视频问题回答的视频图变换器
该研究论文提出了一种名为 VGT 的视频图形转换器模型，旨在解决视频问答任务中动态关系推理方面的挑战，其独特性在于利用动态图形变换器模块对视频进行编码，并利用分离的视频和文本变换器来执行问答任务。通过充分的分析和启发性的观察，证明了 VGT
PDF2 years ago
CVPR在动态音视频场景中学习回答问题
本文研究了 Audio-Visual Question Answering（AVQA）任务，提出了一个包含超过 45K 个问题 - 答案对的 MUSIC-AVQA 数据集并使用多模态知识和视听场景的时空推理来解决该问题，结果表明我们的方法优
PDF2 years ago
IJCAI视频问答的分层面向对象时空推理
通过提出一种基于对象导向推理的动态交互视频场景中的视觉物体关系、行为和事件的深度神经网络模型（HOSTR），能够在多个视频问题回答基准数据集中取得最新的最高成就并显示出其可靠性、可解释性和高效性。
PDF3 years ago
CVPRiWildCam 2021 比赛数据集
本文阐述了野生动物种群监测中的探照灯自动采集引进了大量图像数据，使用目标检测技术识别和计算每个物种个体数时需要考虑时空因素以及个体重新识别，同时描述了一个跨地区的物种分类和数量计算的挑战。
PDF3 years ago
ACLCliCR: 一份用于机器阅读理解的临床病例报告数据集
利用临床病例和 100,000 个问题构建了医学领域的机器理解数据集，发现在需要运用领域知识和对象追踪的推理中，机器阅读器的表现较好，然而在识别省略信息和进行时空推理方面仍有较大提升空间。
PDF6 years ago
CVPRTGIF-QA：关于视觉问答中时空推理的研究
本文提出了三个特别设计用于视频 VQA 的新任务，推出一个新的大型数据集 TGIF-QA，并提出了一种利用空间和时间关注的双 LSTM 方法，证明其在经验评估中的有效性。
PDF7 years ago