Aug, 2023

使用变换器将两个流编码器统一，用于跨模态检索

PDF
TL;DR本研究通过使用两种 Transformer 编码器架构来统一图像和文本之间的差异，提出了一种基于层次对齐 Transformer 的跨模态检索框架，通过多层次的对齐方案，对图像和文本进行了更好的交互和对齐，实验证明该框架优于其他 SOTA 基线，并在两个基准数据集上实现了显著的提升。
cross-modal retrievalencoder architecturestransformershierarchical alignmentbenchmark datasets
发现论文，激发创造
  • 快与慢的思考：利用 Transformer 进行高效的文本 - 图像检索

    本研究通过将视觉和文本独立地映射到联合嵌入空间中的双编码器方法和使用跨注意力的视觉文本变压器方法来进行大规模图像和视频数据集的基于语言的搜索，并将两种方法相结合，提高了检索准确性并确保了可扩展性，同时还引入了新的细粒度跨注意力架构，并通过蒸馏和重新排序结合了快速双编码器模型和缓慢但准确的变压器模型，并在 Flickr30K 图像数据集和 VATEX 视频数据集上验证了该方法。

    Mar, 2021

  • 图像文本匹配和检索的 Transformer 推理网络

    本文介绍了使用 Transformer Encoder Reasoning Network 架构来进行图像与文本的自动匹配，以便于实现大规模信息检索。试验结果表明，本架构成功实现了该任务且获得了创新性的成果。

    Apr, 2020

  • HiT：层次化动量对比视频 - 文本检索的 Transformer 模型

    提出了一种新的名为 Hierarchical Transformer (HiT) 的方法，其中包括 Hierarchical Cross-modal Contrastive Matching 和 Momentum Cross-modal Contrast 的元素，以解决现有交叉模式 Transformer 方法存在的局限性，并在三个主要的 Video-Text 检索基准数据集上实现了优越的实验结果。

    Mar, 2021

  • 快速检索、智能重新排名：协作和联合方法改进跨模态检索

    本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

    Mar, 2021

  • 双向图像与文本生成统一多模态转换器

    本文研究了图片到文本和文本到图片生成的联合学习，使用了基于 Transformer 的单个多模式模型来统一学习双向任务，并通过两级粒度特征表示和序列级训练进一步改进 Transformer 的统一框架，实验证明，该方法显著提高了先前基于 Transformer 的模型 X-LXMERT 的文本到图像生成的 FID（37.0→29.9）和在 MS-COCO 数据集上对细调图像到文本生成的 CIDEr-D 得分（100.9%→122.6%）。

    Oct, 2021

  • HAT：用于图像恢复的混合注意力变换器

    Transformer-based methods have limitations in utilizing input information, so a Hybrid Attention Transformer (HAT) is proposed to improve restoration tasks by combining channel attention and window-based self-attention schemes.

    Sep, 2023

  • 嵌入式异构关注变换器用于跨语言图像字幕生成

    我们提出了一种嵌入的异构关注转换器（EHAT），用于建立跨领域的推理路径，以进行跨语言图像字幕生成，并集成到变压器中。EHAT 由掩蔽的异构交叉关注（MHCA）、异构关注推理网络（HARN）和异构协同关注（HCA）组成，在编码器中通过特殊的异构关注实现跨领域集成，并使单个模型生成两种语言的字幕。我们在 MSCOCO 数据集上进行了测试，生成英文和中文，我们的实验证明，我们的方法甚至超过了先进的单语方法。

    Jul, 2023

  • 使用 Transformer 编码器进行跨模态检索的细粒度视觉文本对齐

    通过词区匹配实现图像 - 句子匹配，本文提出了一种名为 TERAN 的新方法，在图像和句子的不同组件之间执行精细匹配，从而实现了跨模式检索，并在 MS-COCO 和 Flickr30k 数据集上获得了最先进的结果。

    Aug, 2020

  • 基于分层注意力机制的高效长文档分类探索

    本研究开发并发布了使用分段编码器，并将其与 Longformer 模型和部分预训练的 HAT 进行比较的完全预训练 HAT 模型，在多个长文档下游分类任务中，我们的最佳 HAT 模型在使用 10-20％ GPU 内存的情况下比同等大小的 Longformer 模型更快地处理文档并实现更好的性能。在消融研究中，发现 HAT 在整个模型中进行跨段上下文信息处理比其他配置的早期或晚期跨段上下文处理性能更好。

    Oct, 2022

  • 交叉编织多模态编码器

    本文提出了一种新的多模态语音和文本输入结构，使用多头交叉注意力结合预训练语音和文本编码器，并在目标问题上联合微调。所得的编码器可用于连续的令牌级别分类或对同时文本和语音进行话语级别的预测，并高效地捕获声学 - 韵律和词汇信息。

    Apr, 2022