Mar, 2024

漫画文本补全的多模态 Transformer

PDF
TL;DR这项研究通过引入一种新颖的多模态大型语言模型（Multimodal-LLM）架构，特别设计用于文字片断选择的闭合任务（Text-cloze），并通过使用 SimCLR 以自监督的方式将 comics 领域进行了特定调整，以达到比现有最先进模型在易和难两种变种中提高了 10% 的效果。
closure tasktext-clozemultimodal large language modelcomics analysisvisual encoder
发现论文，激发创造
  • 文本多模态变压器自信心感知的非重复生成

    本文提出了一种基于信心感知的非重复多模态 Transformer（CNMT）模型，通过优化 OCR 系统、加入置信度嵌入来选择关键词，并使用重复掩码在图片描述中避免重复，旨在提高文本阅读能力，避免预测重复单词，并在 TextCaps 数据集上取得了较好的表现，CIDEr 从 81.0 提高到 93.0。

    Dec, 2020

  • 基于多视角视觉表示的多模态变压器用于图像字幕生成

    利用多模态 Transformer 模型并结合多视角视觉特征来进行图像描述，这种方法能够同时捕捉到图像内部和图像与文本之间的关系，相较于业内先前方法显著提升了效果，是图像描述任务的最新成果。

    May, 2019

  • 密集多任务学习以重新配置连环漫画

    本文提出了一种 MTL 模型，以实现对漫画画板的密集预测，从而帮助作者重新组织他们的叙述，并探讨了与现有方法整合的可行性。

    Jul, 2023

  • 基于 “洞穴填充” 的自注意力网络预训练

    本研究提出了一种新的预训练双向 Transformer 模型的方法，通过解决一种词重建任务来提高语言理解问题的性能，实验表明，在 GLUE 和 NER 以及组分分析基准测试上获得了大幅度的性能提高，模型的各种因素对于有效的预训练起到了积极的贡献。

    Mar, 2019

  • MoMo: 一种用于文本、图像和多模态表示的共享编码器模型

    本文提出了一种自主监督的共享编码器模型，在数据、内存和运行时效率高的同时，在几个视觉、语言和多模式基准测试中取得了强大结果。

    Apr, 2023

  • 关于大型多模型模型中 OCR 的隐秘之谜

    该论文通过对现有公开的多模态模型进行综合研究，评估它们在文本识别、基于文本的视觉问题回答和关键信息提取等任务中的性能，发现这些模型主要依赖于语义理解进行字识别，对单个字符形状的感知较差，同时对文本长度漠不关心，无法有效检测图像中的细粒度特征，在传统文本任务中尚无法与领域特定方法相媲美，面临更大的挑战。

    May, 2023

  • 双向图像与文本生成统一多模态转换器

    本文研究了图片到文本和文本到图片生成的联合学习，使用了基于 Transformer 的单个多模式模型来统一学习双向任务，并通过两级粒度特征表示和序列级训练进一步改进 Transformer 的统一框架，实验证明，该方法显著提高了先前基于 Transformer 的模型 X-LXMERT 的文本到图像生成的 FID（37.0→29.9）和在 MS-COCO 数据集上对细调图像到文本生成的 CIDEr-D 得分（100.9%→122.6%）。

    Oct, 2021

  • 融合模型用于改进视觉字幕生成

    本文提出了一个通用的多模态模型融合框架，以及将预训练的辅助语言模型 (AuxLM) 和掩码语言模型 (MLM) 进行多模态融合，以改进生成的图像描述的质量和纠正其语法和语义错误。在三个基准数据集上的实验结果显示出了明显的改进。

    Oct, 2020

  • 大语言模型驱动的文本到图像生成的实证研究与分析

    本研究探讨使用大型语言模型作为文本编码器，在文本到图像生成中提高语言理解能力，并提出了一种高效三阶段训练流程以整合已有的文本到图像模型和大型语言模型，通过轻量级适配器实现快速训练，并证明实验结果在多语言和长输入环境下获得了优秀的图像生成质量。

    May, 2024

  • 从像素到图像与语言理解的 CLIPPO 模型

    本研究提出了使用纯基于像素的单一编码器进行图像、文本和多模态任务的方法 ——CLIP-Pixels Only，其使用了对比损失进行训练，并且可以表现出强大的多语种多模态检索能力及惊人的视觉问答准确性。

    Dec, 2022