image-to-text | BriefGPT - AI 论文速递

关键词image-to-text

搜索结果 - 6

多功能扩散模型：文字、图像和变体都在一个模型中
本研究扩展现有单流程扩散管线到多任务多模态网络，通过可共享、可交换的多流程跨模式模块，将文本到图像、图像到文本等多流和变异处理统一在一个模型中，实现了风格和语义的解耦、双重和多重上下文混合等并发处理。实验证明，该框架性能优越，可启发基于扩散
PDF2 years ago
EMNLP通过语义奖励提高放射科报告生成的事实正确性
通过使用 RadGraph 奖励提出了一种基于胸透领域实体和实体关系的新方法，以进一步提高放射学报告的实际完成和正确性，该方法显着改善了放射学报告生成效果。
PDF2 years ago
视觉空间描述：受控的空间定向图像到文本生成
提出了一种名为 VSD 的新的图像与文本方向，其着眼于空间语义，通过使用 VL-BART 和 VL-T5 作为支撑，构建了几个基准编码 - 解码模型，并在我们的基准测试集上进行实验，结果显示我们的模型性能令人印象深刻。同时 VSRC 将会有
PDF2 years ago
CVPRL-Verse：图像与文本之间的双向生成
L-Verse 是一种图像文本双向生成神经网络，它由增强特征自编码器 AugVAE 和双向自回归变压器 BiART 组成，能够在不需要调整或额外目标检测框架的情况下直接用于图像到文本或文本到图像的生成。
PDF3 years ago
MM双向图像与文本生成统一多模态转换器
本文研究了图片到文本和文本到图片生成的联合学习，使用了基于 Transformer 的单个多模式模型来统一学习双向任务，并通过两级粒度特征表示和序列级训练进一步改进 Transformer 的统一框架，实验证明，该方法显著提高了先前基于 T
PDF3 years ago
EMNLPConcadia: 朝着有目的的基于图像的文本生成
该研究旨在通过引入 Concadia 数据集，研究图像描叙和标题的不同传达作用，并证明使用图片出现的文本背景来增强图像到文本模型的效果，从而提高实际应用过程中生成文本的有用性。
PDF3 years ago