dense captioning | BriefGPT

关键词dense captioning

搜索结果 - 12

FlexCap: 在图像中生成丰富、本地化和灵活的标题
我们介绍了一种多功能的 “灵活字幕” 视觉语言模型（VLM），能够生成长度各异的区域特定描述。该模型 FlexCap 训练用于为输入边界框生成长度条件化的字幕，从而控制其输出的信息密度，从简要的物体标签到详细的字幕不等。通过创建大规模的训练
PDF4 months ago
可控的深度描述生成器与多模态嵌入桥接
提出了一种名为 ControlCap 的可控制的密集字幕生成器，通过引入语言指导来适应用户对于密集字幕生成的意图。ControlCap 是由多模态嵌入生成模块和双向嵌入桥接模块组成的多模态嵌入桥接架构。实验证明，ControlCap 在 V
PDF5 months ago
联合学习问答器和密集字幕生成器强化视觉语言预训练
本文提出一种名为 Joint QA and DC Generation (JADE) 的新方法，利用预训练的多模态模型及易于爬取的图像 - 文本对生成和过滤大规模的视觉问答和密集字幕数据集。我们将该方法应用于概念字幕（CC3M）数据集，生成
PDFa year ago
CVPRCapDet: 统一密集字幕和开放世界检测预训练
本文提出了一种名为 CapDet 的新方法，通过将开放世界检测和密集字幕任务统一到一个框架中，引入额外的密集字幕头生成区域定位的字幕，以预测给定类别列表下的结果或直接生成预测边界框的类别，并证明该方法通过加入字幕任务，提高了检测性能的概括能
PDFa year ago
IJCAI基于空间导向的点云 3D 密集描述 Transformer
该研究提出了一种基于 transformer 的 encoder-decoder 结构的 3D 密集描述方法，包含相对空间感知机制，可以精准地为 3D 场景中的每个场景对象实现目标检测和自然语言描述生成。在两个基准数据集 ScanRefer
PDF2 years ago
EMNLP将视觉空间、语言和常识结构融合于故事可视化
本文讨论如何更好地将文本转化为对应的图像序列，包括利用 Transformers、constituency parse trees、commonsense 信息以及 visuo-spatial 信息，最终提高了生成图像的质量和一致性。
PDF3 years ago
Scan2Cap：RGB-D 扫描中基于上下文的密集字幕生成
本文介绍了使用 Scan2Cap 方法对 3D 扫描中的物体进行检测和描述，在生成的描述中使用注意力机制和消息传递图模块，取得了显著的性能提升。
PDF4 years ago
CVPR上下文与属性基础的密集字幕
本文提出了一种基于上下文推理和多级属性的视觉挖掘及区域描述生成的密集字幕框架，并利用层次化语义属性提供辅助监督，实验结果表明该模型优于现有最先进的方法。
PDF5 years ago
视频中密集字幕事件的系统报告: RUC+CMU
本文介绍了我们在 ActivityNet Dense Captioning in Video 任务（任务 3）中的系统，该任务中，我们提出了一种 proposal 排名模型，利用一组有效的特征表示进行 proposal 生成，并集成一系列具
PDF6 years ago
联合推断与视觉上下文下的密集字幕
本研究提出了一种基于 “联合推理” 和 “上下文融合” 的模型管道来解决密集字幕的两个关键挑战，并在 Visual Genome 上取得了目前最佳算法的相对增益 73％的最新成果。
PDF8 years ago
CVPR生成描述性图像段落的分层方法
本文提出一种生成整段文字描述图片的方法，相比仅仅用一句话进行描述，该方法能够提供更加细致以及连贯的故事情节。该方法使用了分层递归神经网络对图片中的语义区域以及自然语言进行建模并生成整段文字。在实验中该方法被证明是较为有效的。
PDF8 years ago
DenseCap: 全卷积定位网络用于密集字幕
该研究介绍了密集报告任务，提出了一种全卷积定位网络（FCLN）架构来联合处理图像的局部定位和描述，在视觉基因组数据集上进行了评估，证明相比现有技术的基线，其速度和准确性都有所提高。
PDF9 years ago