video features | BriefGPT - AI 论文速递

关键词video features

搜索结果 - 8

阿尔忒弥斯：迈向复杂视频中的指代理解
基于视频的指代理解一直是多模态大型语言模型的一个挑战，本文提出了 Artemis，一个将视频指代理解提升到更精细层次的模型。通过提取紧凑、目标特定的视频特征，Artemis 能够根据视频中的自然语言问题和感兴趣目标的边界框完成整个视频的描述
PDFa month ago
借助视界构建更好的视觉语言表达和唇读能力
我们提出了一个新的方法，利用音素相似的嘴唇形状群体（发音单位）来提取更具辨别能力和鲁棒性的视频特征，从而改善了视频特征有限所导致的现有嘴唇识别系统低准确度的问题。实验证明，我们的方法在字级和句级嘴唇识别，以及使用 Arman-AV 数据集进
PDFa year ago
Ego4D 情景记忆挑战 2023 的行动敏感度学习
本报告介绍了 ReLER 在 Ego4D 情节记忆基准测试中提交的两个轨道，包括自然语言查询和时刻查询。我们的解决方案继承了我们提出的行动敏感性学习框架（ASL），以更好地捕捉帧的差异信息。此外，我们整合了一系列更强大的视频特征和融合策略。
PDFa year ago
ECCV当坚强的骨架遇见强大的特征 —— 用于 Ego4D 时刻查询挑战的 ActionFormer
我们在 Ego4D Moment Queries Challenge 2022 的比赛中使用了 ActionFormer 作为主体，加上 SlowFast、Omnivore 和 EgoVLP 三种强大的视频特征，我们的解决方案在测试集上的平
PDF2 years ago
多模式视频章节生成
该研究介绍了一个名为 Chapter-Gen 的数据集，用于视频章节自动生成，提出了一个特定于视频章节生成任务的有效基线，并开发了 skip sliding window 机制来定位潜在章节并汇总本地特征，实验结果表明这种新框架具有优越性。
PDF2 years ago
AAAI探索动作和外貌信息用于时间性语句定位
本篇文章提出了一种 Motion-Appearance Reasoning Network 模型，结合了时间感知和外观感知的对象特征来更好地推理连续帧之间的活动关系，用于解决时间语句概括问题，实验证明其明显优于现有方法。
PDF3 years ago
使用对比双向变换器学习视频表示
本文提出了一种自监督学习方法，用于视频特征，与现有方法相比在下游任务中表现显著提高，通过将文本序列的 BERT 模型扩展到实值特征向量序列的情况，以噪声对比估计取代 softma 损失函数，同时展示了如何从可视特征序列和 ASR 派生的词序
PDF5 years ago
CVPR泛零样本行为识别的非分布检测
本文提出了一种基于超出分布检测器的广义零样本学习框架，以解决零样本行为识别中的问题。我们使用生成式对抗网络合成了新的动作类别特征，并将其用于训练检测器。实验证明，该方法在三个数据集上的性能优于基准模型（f-CLSWGAN），分类准确率分别提
PDF5 years ago