本文提出使用递归神经网络模型来预测结构化的 “图像情境”，进一步研究了行为和名词实体在动作相关的语义角色中的作用，并且创新性地使用了专门的动作预测网络，以及一个 RNN 来进行名词预测。相比于之前使用条件随机场的工作，我们的系统在最近的 imSitu 数据集上获得了最佳的准确性表现，并且将从情景预测中学习到的特征转移到图像字幕生成任务中，以便更准确地描述人 - 物互动。

Mar, 2017

本文旨在研究视频中多人行为预测。文章提出了一种 Discriminative Relational Recurrent Network 模型，通过构建循环图形式对不同演员之间的时空相互作用进行联合建模，从而在不需要显式监督的情况下，学习选择相关性。该方法在 AVA 数据集上预测动作的评估和 J-HMDB 任务的性能都有显著提高。

Apr, 2019

本文提出了一种基于因果干预的依赖多任务学习框架（DMTCI）来解决图像描述生成过程中出现的问题，该框架采用包含类别生成、因果计算和多智能体强化学习策略来提高模型对视觉特征的理解和生成句子的一致性及信息性。实验结果表明，DMTCI 模型优于基准模型，并达到了与最先进模型相媲美的性能。

May, 2021

提出了一种用于密集视频字幕的事件序列生成模型，通过双向时间依赖在一次传递中生成事件边界来探索视频中的时间关系，避免了低效的两阶段提议生成，并在事件字幕模型中取得了最新的性能。

Jun, 2020

本文提出了一种使用多个编码器的循环融合网络 (RFNet) 来处理图像字幕生成问题，RFNet 可以利用多个编码器的输出之间的相互作用，生成新的、紧凑而且信息丰富的表示，验证实验表明，RFNet 对于图像字幕生成问题是有效的，并且取得了最新的最好结果。

Jul, 2018

本文介绍了我们在 ActivityNet Dense Captioning in Video 任务（任务 3）中的系统，该任务中，我们提出了一种 proposal 排名模型，利用一组有效的特征表示进行 proposal 生成，并集成一系列具有上下文信息增强的 caption 模型，在预测的 proposal 上稳健生成 caption。我们的方法在密集视频字幕任务中取得了最先进的性能，在挑战测试集上获得了 8.529 的 METEOR 分数。

Jun, 2018

本文提出了一种基于多模态循环神经网络的模型，用于生成图像标题，并在四个基准数据集上验证了该模型的有效性。

Dec, 2014

本文提出了一种 Non-Autoregressive Image Captioning（NAIC）模型，采用一种新的训练范式：Counterfactuals-critical Multi-Agent Learning（CMAL），将其制定为多智能体强化学习系统，经过对大规模未标记图像的实验表明，该模型实现了与最先进的自回归模型可比的性能，同时速度提高了 13.9 倍。

May, 2020

通过多任务学习模型，结合无监督视频预测和语言蕴涵生成任务，共享参数学习提取更丰富的视频编码器表示和更好的视频 - 标题解码器表示，显著提高视频字幕生成的性能，达到了多个标准数据集的最新水平。

Apr, 2017

基于规则驱动的新闻字幕生成方法结合语义规则，将大规模预训练模型 BART 引导生成符合规则的新闻句子，并在两个广泛使用的数据集上验证了方法的有效性。

Mar, 2024