image captions | BriefGPT - AI 论文速递

关键词image captions

搜索结果 - 10

通过自动派生的数据集改进文本到图像生成中的显式空间关系
现有文献观察到当前的文本到图像系统不能准确反映物体之间的显式空间关系，我们假设这是因为训练这些模型的图像标题很少包含显式空间关系。为此，我们提出了一种自动方法，给定现有图像生成包含 14 种显式空间关系的合成标题。我们引入了 Spatial
PDF4 months ago
PixLore：基于数据集的丰富图像标题生成方法
使用 PixLore 方法，通过在商用 GPU 上细调 BLIP-2 模型，利用 LoRa 方法，基于来自先进计算机视觉模型和 ChatGPT 的精心组装的数据集训练，解决了图像理解的复杂性问题，并证明了以较小规模模型的集合体可以在绝大部分
PDF7 months ago
通过大型语言模型进行弱监督下的细粒度场景图生成
通过利用大型语言模型和链式思维及上下文少样本学习策略，我们提出了一种新方法：用于弱监督场景图生成的大型语言模型，可以从图片标题中提取三元组并与目标数据的实体 / 谓词类对齐，有效地解决语义过度简化和低密度场景图的问题，实验证明该方法在 Re
PDF9 months ago
ADS-Cap: 一个准确且多样化的风格化说明文档生成框架，无需成对的风格化语料库
使用不成对的文体语料库生成具有特定语言风格的视觉 grounded 图片标题是一项具有挑战性的任务，本文提出了一种新的框架（ADS-Cap）来生成准确且多样化的文体标题，其中使用对比学习模块来统一成对的事实语料库和不成对的文体语料库，并使用
PDFa year ago
探讨零样本和少样本视觉问答的提示技术
本研究探索了使用各种提示策略来增强零样本视觉问答性能的方法，重点关注 BLIP2 模型，通过在多个视觉问答数据集上进行全面研究，发现精心设计的问题模板和集成附加视觉提示，如图像标题，可以提高 VQA 绩效，特别是在与少量样本示例结合使用时。
PDFa year ago
从图像标题中获取释义
本文介绍了一种新的挖掘图像说明文字的方法，构建并分析了相应数据集，证明了其作为解释的潜力，并通过算法确定了不同来源的特征地图，以识别来自不同来源的释义方式。
PDFa year ago
图像描述中多样性 - 准确性平衡的分析
我们研究了不同的模型架构、训练目标、超参数设置和解码过程对自动生成图像标题多样性的影响，结果显示简单解码方法结合低温度是产生多样且准确的标题集的一种竞争性和快速方法；使用强化学习的 CIDEr-based 奖励训练会损害生成器的多样性，不能
PDF4 years ago
利用标题中的信息进行弱监督语义分割
通过多模态网络，该工作借助互联网上的图像标注来进行弱监督学习，实现语境上下文对图像中出现的类别的提取与分割，并在 COCO 数据集上取得了 SOTA 的结果。
PDF5 years ago
OSU 多模式机器翻译系统报告
本文介绍了俄勒冈州立大学参加 WMT'17 多模式翻译任务的系统，该任务的独特之处在于所有句子对都是不同语言中的图像标题，我们提出了一种简单而有效的方法，在编码和解码过程中将图片作为额外信息加入到机器翻译系统中，我们使用 Flickr30k
PDF7 years ago
多模态循环神经网络（m-RNN）实现的深度字幕生成
本文提出了一种基于多模态循环神经网络的模型，用于生成图像标题，并在四个基准数据集上验证了该模型的有效性。
PDF10 years ago