通过多模态网络，该工作借助互联网上的图像标注来进行弱监督学习，实现语境上下文对图像中出现的类别的提取与分割，并在 COCO 数据集上取得了 SOTA 的结果。

May, 2019

本文提出了一种弱监督的预训练方法 oCLIP，该方法通过联合学习视觉和文本信息来获取有效的场景文本表示，并能从弱注释文本中学习，可以有效地应对 OCR 任务。实验证明，该方法在多个公共数据集上都优于现有的预训练技术。

Mar, 2022

本文提出了一种基于弱监督信息的密集视频描述方法，通过词汇全卷积神经网络、亚模量最大化算法、序列到序列学习语言模型等技术，既可以生成信息丰富、多样化的密集字幕，也能大幅度领先于现有的单视频字幕生成方法。

Apr, 2017

本文提出了一种鲁棒的视觉信息提取系统（VIES），它是一个统一的端到端可训练框架，用于同时进行文本检测、识别和信息提取。同时，本文构建了一个名为 EPHOIE 的数据集，它是用于文本定位和视觉信息提取的第一个中文基准数据集。与最先进的方法相比，我们的系统在 EPHOIE 数据集上取得了显著的优异表现，在 SROIE 数据集的端到端情况下，F 分数提高了 9.01％。

Jan, 2021

本文介绍了一种使用图像标签进行弱监督语义分割的模型，利用图像标注作为注意机制来识别图像中的语义区域，并描述了如何将此掩模生成策略纳入完全端到端可训练的过程中，其中网络同时学习对图像进行分类和分割，实验表明，利用生成的类特定掩模可以超越只使用图像标记的最新弱监督语义分割方法甚至某些利用额外监督或训练数据的模型。

Apr, 2018

该论文提出了一个更实际的数据集和一种新颖的端到端学习框架，通过对比学习缩小 OCR 和信息提取任务之间的语义差距来实现 VIE，然后在这个新数据集上评估现有的 VIE 方法并展示了性能提升。

May, 2023

本文提出了一种基于 Viterbi 损失的学习算法，能够在线和逐步地学习弱标注的视频数据，并展示了显式的上下文和长度建模对于视频分割和标记任务的巨大改进，并将这些模型纳入我们的框架之中，在几个动作分割基准测试中，与当前最先进的方法相比，我们实现了高达 10% 的改进。

May, 2018

本文提出了一个统一的视觉语言预训练模型，采用共享的多层 Transformer 网络进行编码和解码，通过两个任务的无监督学习目标对大量的图像文本对进行预训练，使得该模型在图像字幕和视觉问答等多个任务上均取得了最先进的结果。

Sep, 2019

现有的视觉信息提取方法通常将从表单样式文档中提取信息的过程分解为不同的子任务，我们提出了一种新的视角，将其重新定义为关系预测问题，并统一了不同任务的标签，以解决表单文档中的层次关系。我们提出的统一模型 UniVIE 通过构建树提案和关系解码模块来全面解决视觉信息提取问题，通过引入树注意力掩码和树级别嵌入来增强关系预测能力。在我们的数据集 HierForms 和公开数据集 SIBR 上进行的广泛实验评估证明了我们方法达到了最先进的结果，突显了我们统一方法在推进视觉信息提取领域的有效性和潜力。

Jan, 2024

本文提出了一种基于 transformer，支持弱监督下视频理解的方法，主要包括多粒度损失函数、伪造的帧 - 句对应关系等。在视频序列验证和文本匹配实验中表现良好。

Mar, 2023