Mar, 2024

ReMamber：基于 Mamba Twister 的图像引用分割

PDF
TL;DR提出了一种新颖的 RIS 架构 ReMamber，该架构整合了 Mamba 的能力与多模态 Mamba Twister 块，并通过独特的通道和空间扭曲机制融合文本和视觉特征，在三个具有挑战性的基准测试中取得了最新的研究成果，并对 ReMamber 进行了深入的分析，讨论了使用 Mamba 的其他融合设计，为未来研究提供了有价值的视角。
referring image segmentationtransformersmambamulti-modal interactionsfusion designs
发现论文，激发创造
  • STIR: 用于图像检索后处理的孪生 Transformer

    该研究提出了一种基于三元损失的简化模型和一种用于图像检索的新方法 STIR，它采用注意力机制在像素级别上直接比较查询图像和候选图像，不需要全局 / 局部特征提取，能够在标准图像检索数据集上定义新的技术状态。

    Apr, 2023

  • 图像文本匹配和检索的 Transformer 推理网络

    本文介绍了使用 Transformer Encoder Reasoning Network 架构来进行图像与文本的自动匹配，以便于实现大规模信息检索。试验结果表明，本架构成功实现了该任务且获得了创新性的成果。

    Apr, 2020

  • 快速检索、智能重新排名：协作和联合方法改进跨模态检索

    本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

    Mar, 2021

  • 多模态张量融合和重新排序的图像和文本匹配

    我们提出了一个新的框架，使用基于排名的张量融合来显式学习准确的图像文本相似度函数，通过通用的跨模态重新排序方案实现了模型效果和模型复杂性之间的平衡，从而达到了优秀的匹配性能。

    Aug, 2019

  • UPB 在 SemEval-2020 任务 8 中：多任务学习体系结构中的文本和视觉建模用于情感分析

    本研究介绍了一个新颖的多模式多任务学习架构，该架构将 ALBERT 文本编码与 VGG-16 图像表示相结合，可用于分析互联网迷因，该方法在 SemEval-2020 Task 8 比赛的三个子任务中，均超过了官方基线结果。

    Sep, 2020

  • 检索增强转换器用于图像字幕生成

    本论文中，我们研究了一种基于 kNN 记忆的图像字幕生成方法，其中可以从外部语料库中检索知识来辅助生成过程。通过在视觉相似性、差分编码器和 kNN 增强的注意力层之间结合知识检索器来预测基于上下文和从外部内存检索的文本的令牌。在 COCO 数据集上进行的实验结果表明，采用显式的外部存储器可以帮助生成过程并提高字幕质量。我们的工作为更大规模的图像字幕生成模型的改进开辟了新的途径。

    Jul, 2022

  • 用于视频字幕的多模态记忆建模

    本文提出了一种多模态记忆模型 (M3)，利用视觉和文本共享的记忆来建模长期的视觉 - 文本依赖关系并进一步引导全局的视觉注意力，该方法在公开基准数据集上的实验证明，相比于最先进的方法，本文提出的方法在 BLEU 和 METEOR 方面表现较好。

    Nov, 2016

  • 基于文本图像关系传播的 BERT 模型用于多模态命名实体识别（Multimodal NER）

    本文介绍了一种文本 - 图像关系传播的方法，将其集成到多模态 BERT 模型中，通过使用软或硬门选择视觉线索，并提出了一种多任务学习算法，实现对多模态命名实体识别数据集的训练，最终在该数据集上实现了最先进的性能。

    Feb, 2021

  • 快与慢的思考：利用 Transformer 进行高效的文本 - 图像检索

    本研究通过将视觉和文本独立地映射到联合嵌入空间中的双编码器方法和使用跨注意力的视觉文本变压器方法来进行大规模图像和视频数据集的基于语言的搜索，并将两种方法相结合，提高了检索准确性并确保了可扩展性，同时还引入了新的细粒度跨注意力架构，并通过蒸馏和重新排序结合了快速双编码器模型和缓慢但准确的变压器模型，并在 Flickr30K 图像数据集和 VATEX 视频数据集上验证了该方法。

    Mar, 2021

  • 基于自适应 n-gram 嵌入的增强 Transformer 用于多语言场景文本识别

    介绍了一种用于多语种场景文本识别的增强 Transformer 架构，名为 TANGER，该架构采用 n-grams 嵌入和跨语言纠正技术，并通过四个基准数据集的广泛比较研究以及从印度尼西亚旅游场景中收集的一个包含印度尼西亚语、英语和中文的新多语种场景文本数据集进行实验，实验结果表明 TANGER 具有更好的性能。

    Feb, 2023