使用视觉语言模型进行语义理解，通过状态机和时间逻辑进行长期演变的事件推理，提高了复杂事件识别的 F1 得分。

Mar, 2024

该研究提出了一种基于视频语义的超分辨率方法，通过引入语义先验信息并结合像素级特征，实现了准确的帧间对齐，从而在视频超分辨率任务中获得了优于现有方法的结果。

Dec, 2023

该研究旨在基于自然语言查询进行视频检索，并采用嵌入模型进行检索任务的训练，试图通过图像搜索以及嵌入模型的应用使 fine-grained 视觉概念得到消歧，最终在视频和句子检索任务中实现了明显的改进，并取得了与当前最先进技术相媲美的描述生成性能。

Aug, 2016

LOGICSEG 是一个综合的视觉语义解析器，它集成了神经归纳学习和逻辑推理，通过丰富的数据和符号知识，将视觉概念结构化为一个层级结构，进行层次一致的预测和逻辑推理，并通过多个数据和神经计算图来进行逻辑感知网络的训练，从而实现与现有分割模型的集成。本研究证实了 LOGICSEG 的有效性和普适性，为视觉语义解析开辟了新的途径。

Sep, 2023

我们提出了一种简单而有效的语义感知少样本动作识别模型（SAFSAR），该模型通过直接利用 3D 特征提取器与有效的特征融合方案以及简单的余弦相似度分类，实现了更好的性能，无需复杂的距离函数和额外的时间建模组件。在这种方案中，SAFSAR 以一种紧凑的方式实现了对文本语义的编码、视频表示的自适应特征融合，并鼓励视觉编码器提取更具语义一致性的特征。在各种设置下对五个具有挑战性的少样本动作识别基准进行的实验证明，所提出的 SAFSAR 模型显著提高了最先进的性能。

Nov, 2023

通过 SemLa，我们设计了一种专门用于细粒度文本分类的视觉分析系统，可以揭示数据集中的语义结构并可视化文本样本的微妙差异，从而解释模型的推理过程。

Mar, 2024

通过使用聚类，元学习和嵌入式空间中的视觉单词等技术，我们开发了一种快速，因果算法，可在单个前向传递中分割可变数量的对象，并在四个视频分割数据集上实现了最新的速度 / 精度折衷，在不需要调优，附加输入或后处理的情况下。

Dec, 2018

本文着眼于视频和语言之间的语义联系，提出了一种多级对齐训练方案，基于信息相似性从高层次的上下文到细粒度的语义，通过对称损失来对齐视频和语言的编码，从而在共享特征空间中确保相似信息紧密编码而不同语义的信息保持分开。我们的多级对齐训练可应用于各种视频和语言接地任务。连同任务特定的训练损失，我们的框架在多个视频 QA 和检索数据集上实现了与先前现有技术的可比较性能。

Apr, 2022

为了提高视频检索的性能，我们提出了一种名为 ViSERN 的可视化语义增强的推理网络，该网络利用图卷积网络执行随机游走规则来生成涉及语义关系的区域特征，并聚合这些特征以形成帧级特征， 以求衡量视频和文本之间的相似性。

Jun, 2020

本文提出了一种语义感知的细粒度对应方法，该方法融合了基于图像和基于像素的自监督学习方法来提高任务的性能，在视频对象分割、人体姿态跟踪和人体部分跟踪等视觉对应任务上超过了以往基于卷积神经网络的最新自监督方法。

Jul, 2022