我们介绍了一个多模态视觉框架，用于精确畜牧业，利用 GroundingDINO、HQSAM 和 ViTPose 模型的力量。此集成套件可以从视频数据中进行全面的行为分析，无需侵入性动物标记。GroundingDINO 在家畜周围生成准确的包围框，而 HQSAM 在这些框内分割个体动物。ViTPose 估计关键身体点，便于姿势和运动分析。在包括放牧、奔跑、坐立和行走活动的绵羊数据集上进行演示，我们的框架提取了宝贵的洞察力：活动和放牧模式、互动动力学和详细的姿势评估。该框架适用于各个物种和视频分辨率，为活动检测、计数、健康评估和姿势分析领域的非侵入性畜牧监测带来革命。通过基于数据驱动的行为理解，它给予农场管理以动力，并优化动物福利和生产力。

Jun, 2024

该论文提出了一种新的培训框架，通过使用混洗的视频来解决时间偏差问题，该框架引入了交叉模态匹配和时间顺序区分两个辅助任务来促进模型训练，以强化其对于长期时间上下文的理解和减轻依赖于时间偏差的影响。

Jul, 2022

该论文提出了一种基于回归模型的方法，使用文本查询中的语义短语提取中间特征，以反映查询中描述的重要语义实体和视频的视觉特征之间的双模态交互，通过在多个层面上从局部到全局利用上下文信息，有效地预测目标时间区间。实验证明，该方法在 Charades-STA 和 ActivityNet Captions 数据集上的表现明显优于现有方法。

Apr, 2020

本文主要研究了利用语言引导定位视频中的相关片段的问题，提出一种简单直观的跨模态注意力模块 (CMA) 和针对此任务的新回归损失函数来提高定位精度，并在 Charades-STA 和 ActivityNet Captions 数据集上超越了目前最先进的方法。

Sep, 2020

本文研究了时空视频定位（TVG）的问题，提出了一种新的文本 - 视觉提示框架（TVP）来优化视频编码器和语言编码器，有效地加强交叉模态特征融合并提高了 TVG 的表现。

Mar, 2023

提出了一种视觉提示文本跨度本地化方法 (VPTSL) 来解决视频中的时域回答接地问题 (TAGV)，该方法通过时间戳字幕作为文本输入，将视觉突出特征提示到预训练的语言模型 (PLM) 中来增强联合语义表示，以帮助跨模态交互，实现更好的文本跨度定位和匹配，该方法在医学操作数据集 MedVidQA 上表现优异，超越了其他 SOTA 方法。

Mar, 2022

通过引入贝叶斯 - VSLNet，本技术报告解决了在大段未修剪的自我中心视频中根据自然语言描述定位活动的时间边界的挑战。我们的模型通过在推理过程中引入新颖的贝叶斯时间顺序先验，显著改进了传统模型，提高了时刻预测的准确性。我们的评估表明，在 Ego4D Goal-Step 数据集上具有卓越的性能，测试集中 Recall Top-1 为 35.18（在 0.3 的 IoU 下）和 20.48（在 0.5 的 IoU 下），达到了最先进的结果。

Jun, 2024

本文通过强化学习和多任务学习建立一个分阶段调整临时定位边界的代理模型，在考虑附加边界信息的训练过程中稳步提高绩效，达到了 ActivityNet'18 DenseCaption 和 Charades-STA 数据集上的最优性能。

Jan, 2019

该研究提出了一个基于强化学习的边界自适应精细化（Boundary Adaptive Refinement，BAR）框架，用于加强视频中自然语言的时间地位确定性，无需精细的标注，并证明其性能优于现有的弱监督和一些有竞争力的全监督方法。

Sep, 2020

利用伪查询特征加强领域间的联通，提高视觉和语言之间的特征对齐，以实现更好的时间句子定位。

Apr, 2024