本研究通过 VALUE 基准测试，探讨了基于多个数据集完成多个任务的视频与语言理解模型，重点考虑来源于多种视频类型，利用通过视频帧和相关字幕来分析视频文本内容，以及学习多任务的视频与语言理解能力，进一步推动视频与语言理解技术的发展。

Jun, 2021

本技术报告总结了我们针对 Video-And-Language Understanding Evaluation（VALUE）挑战（此网址 https://...）的方法。我们提出了 CLIP-Enhanced 方法，将图像 - 文本预训练知识纳入到下游的视频 - 文本任务中，并结合其他几种改进的设计，使我们的方法在 VALUE 基准上提高了 2.4%（从 57.58 到 60.00 的 Meta-Ave 得分），超越了现有技术的水平。

Oct, 2021

通过使用视觉和语言数据，利用无监督任务发现学习一个任务特定的视觉分类器，并将其转移到视觉问答模型中作为答案单元，以解决视觉问题中的词汇表外问题，并通过从视觉数据转移的知识成功推广以应对此问题。

Oct, 2018

本文研究视觉特征的表征方式，并探讨了通过将视觉识别任务和视觉问答任务各自对应的语言表示方式建立联系，以实现更好的跨任务数据迁移的方法。结果表明，这种方法比常规的多任务学习方法更有效，并且能够大幅提高在视觉识别任务和视觉问答任务上的准确率。

Apr, 2017

通过自我监督、生成模型等方法训练的视觉特征表示可以非常好的通用于各种不同的视觉任务，并且对于一些任务可以取代需要大量标注数据的监督学习方法

Oct, 2019

本文提出了一种用于多模态理解和生成的 Vision-Audio-Language Omni-peRception 预训练模型 (VALOR)，该模型与先前广泛研究的视觉语言预训练模型不同，以端对端的方式共同建模视觉、音频和语言之间的关系，包含三种单模态表示的编码器和多模态有条件文本生成的解码器，通过 Multimodal Grouping Alignment (MGA) 和 Multimodal Grouping Captioning (MGC) 两个预训练任务，可以学习在多种输入模态下（例如视觉 - 语言、音频 - 语言、音频视觉 - 语言）学习强大的多模态相关性，并在各种下游任务（如检索、字幕生成和问答）取得了新的最先进表现。

Apr, 2023

本文介绍了在 eBay 产品视觉搜索挑战 (FGVC9) 中获得第一名的一个模型。该模型通过将视觉模型和视觉语言模型相结合，运用 20 个模型的结合方式，在对 coarse labels 进行两阶段训练的基础上，进行了精细化的自我监督训练。此外，该模型通过使用文本描述训练图像作为监督信号，对图像编码器进行了微调。最终，该模型达到了 0.7623 MAR@10 的成绩，超过了所有竞争对手。

Jul, 2022

本论文介绍一项新的任务，即视频语料库视觉答案定位（VCVAL），旨在使用自然语言问题在大量未剪辑的指导视频中定位视觉答案，并提出了一种跨模态对比全跨度（CCGS）方法来解决 VCVAL 问题，并在 MedVidCQA 数据集上测试了该方法，结果表明该方法在视频语料库检索和视觉答案定位子任务中的表现优于其他竞争方法，可以帮助我们更好地理解指导视频的内容，为后续研究铺平了一条新的道路。

Oct, 2022

2017 年 WebVision 挑战赛，旨在提供一组无需人工标记的互联网图像数据集和公开竞赛。数据集中包含超过 240 万张使用 ILSVRC 2012 语义概念生成的查询的互联网图像，用于在 WebVision 测试集上进行图像分类和在 PASCAL VOC 2012 数据集上进行迁移学习的任务。本文描述了数据收集与注释的详细信息、数据集的特点以及评估指标。

May, 2017

本文提出了一种跨模态互相知识传递的跨模态互知跨度本地化方法 (MutualSL)，它包含视觉预测器和文本预测器两个部分，旨在通过构建一种双向动态损失函数以调整传递比例来提高语义知识的理解，以获取视频中自然语言问题的相关和简明时间剪辑答案。实验结果表明，该方法优于其他竞争同类方法，展示了其有效性。

Oct, 2022