通过增强检索增强标记令牌，我们提出了 Tag-grounded visual instruction tuning with retrieval Augmentation（TUNA），在 12 个基准测试中优于使用相同语言模型和训练数据的基线模型，并展示了 TUNA 的零 - shot 能力。

Jun, 2024

新闻图像标题任务是图像标题任务的一种变体，要求模型生成与新闻图像和相关新闻文章更相关的标题。多模态大型语言模型在近年来得到快速发展，并在新闻图像标题任务中具有良好的前景。然而，根据我们的实验，普通的多模态大型语言模型在零样本学习环境中生成实体方面的能力还十分有限。仅仅在新闻图像标题数据集上进行微调后，它们处理实体信息的能力仍然不够。为了获得一个更强大的模型来处理多模态实体信息，我们设计了两个多模态实体感知对齐任务和一个对齐框架来对齐模型并生成新闻图像标题。我们的方法在 GoodNews 数据集上的 CIDEr 分数（72.33 -> 86.29）和 NYTimes800k 数据集上的 CIDEr 分数（70.83 -> 85.61）上取得了比先前最先进模型更好的结果。

Feb, 2024

试图在不使用人工标注的情况下通过在不同级别上同时使用多个类型的未标注语料库和自投票方法对新闻报道进行标题生成的研究。

Jan, 2020

本文提出了一种用于视频 - 文本检索的 TABLE（标记前对齐）网络，该网络通过标记将多模态信息显式地集成在一起，并在视觉编码器、标记编码器、文本编码器和带有标记引导的跨模态编码器的联合编码下，使用预训练的多模态专家从多模态中提取信息。实验表明，TABLE 模型在 MSR-VTT、MSVD、LSMDC 和 DiDeMo 等多个视频 - 文本检索基准中表现出了最先进的性能。

Jan, 2023

使用最新的 Universal Transformer architecture 和 byte-pair encoding 技巧，对新闻标题生成任务进行了优化，取得了新的最佳 ROUGE-L F1 分数 24.84 和 ROUGE-2 F1 分数 13.48，并提出了新的 RIA 语料库并在其上达到 ROUGE-L F1 分数 36.81 和 ROUGE-2 F1 分数 22.15。

Jan, 2019

本文提出了一个新的任务叫做多模态实体标记 (MET) 以及一个多模态知识库，并开发了一个数据集以解决该问题。使用信息检索范式解决此任务并使用 NLP 和 CV 中最先进的方法实现了几个基线。结果表明，该任务具有挑战性，但当前技术可以实现相对较高的性能。

Dec, 2021

通过微调预训练的 Transformer 模型，利用实体标签或上下文实体表示，探索高效和有效的显著性实体检测方法。实验证明，这些直接的技术在不同规模和显著性定义的数据集上明显优于先前的工作。还研究了知识蒸馏技术，以有效地降低这些模型的计算成本，而不影响其准确性。最后，进行了广泛的分析和切除实验以描述所提出模型的行为。

May, 2024

本文提出了一种生成多个与关键词相关、高质量、多样化新闻标题的方法，使用多源 Transformer 解码器，并构建了第一个大规模的具有关键词意识的新闻标题语料库，并在真实数据集上进行了广泛实验比较。

Apr, 2020

我们提出了一种名为 Wiki-LLaVA 的方法，通过一个分层检索流程，将多模态文档的外部知识源集成到 LLM 中，用作额外的上下文，从而增强了生成的对话的效果和准确性。我们在具有外部数据的视觉问答数据集上进行了大量实验，并证明了该方法的适用性。

Apr, 2024

该论文研究了有限数据情况下的标题生成任务，提出了一种新的二元优化方法来发现关键信息和生成标题任务之间的概率对偶约束。在两个公共数据集上的实验结果表明，此方法可以有效地提高语言建模指标和信息准确性指标。

Oct, 2022