Jun, 2024

通过动态路径定制实现图像字幕

PDF
TL;DR本文探索一种新颖的动态网络以应对视觉和语言任务，其中推理结构针对不同输入动态定制。通过引入基本单元并在空间和通道运算领域分组，以构建丰富的路径空间和提升路径选择效率，我们设计了一个空间 - 通道联合路由器来根据输入样本的空间和通道信息进行路径定制，并在 MS-COCO 数据集上进行实验证明了提出的动态变压器网络的有效性，获得了 Karpathy 分割和在线测试服务器上的最新最佳性能。
dynamic networkvision and language tasksdynamic transformer networkimage captioningms-coco dataset
发现论文，激发创造
  • 学习语义分割的动态路由

    论文提出一种名为动态路由的方法，使用不同的可微分路由来处理输入中的比例差异，减少语义表示中的比例差异，并支持多路径传播和跳跃连接以提高网络能力。

    Mar, 2020

  • DiT: 高效的视觉变压器与动态令牌路由

    提出了一种数据相关的令牌路由策略用于图像令牌的动态视觉转换器 (DiT)，以适应对象尺度和视觉识别的变化，并通过选择多路径特征传播来精心调整图像表达的对象尺度和视觉识别的影响，从而实现更好的性能和良好的复杂度 / 准确度平衡。

    Aug, 2023

  • 决定如何决策：人工神经网络中的动态路由

    我们提出并系统评估了三种训练动态路由人工神经网络的策略：通过学习变换的图形，不同的输入信号可以采取不同的路线。我们发现，在训练用于分类图像的动态路由网络中，层和分支变得专门处理不同类别的图像。此外，给定固定的计算预算，动态路由网络往往比可比的静态路由网络表现更好。

    Mar, 2017

  • CPTR: 图像标注的全变压器网络

    本研究提出了 CaPtion TransformeR （简称 CPTR）这一基于序列到序列（sequence-to-sequence) 预测方法的图片标注任务模型。与传统的 “CNN+Transformer” 设计范式不同，本研究的模型从一开始就可以在每个编码层中对全局上下文进行建模，并完全摒弃了卷积层。在 MSCOCO 数据集上进行的大量实验证明了 CPTR 模型的有效性，本研究还提供了全 Transformer 架构中编码器中各个 Patch 之间的自注意力以及解码器中单词到 Patch 的注意力等详细的可视化效果。

    Jan, 2021

  • 基于语义条件扩散网络的图像字幕生成

    本文提出了一种基于 Semantic-Conditional Diffusion Networks（SCD-Net）的图像字幕生成模型，用于有效捕捉离散单词间的依赖性并实现复杂的视觉语言对齐，并采用自举序列训练策略稳定扩散过程，实验证明其在 COCO 数据集上取得了很好的表现。

    Dec, 2022

  • 多模态机器翻译的动态上下文引导胶囊网络

    本文提出了一种基于动态上下文引导胶囊网络（DCCN）的多模式机器翻译方法，通过引入上下文引导的动态路由机制，与全局和区域视觉特征组合，实现生成翻译时的可变性建模，该方法在英语 - 德语和英语 - 法语翻译多个数据集上超越了当前主流的注意力机制、全局上下文模型和多模式联合表示学习模型。

    Sep, 2020

  • 动态图消息传递网络用于视觉识别

    本论文提出了一种动态图消息传递网络，用于进行长程依赖性建模，以用于图像识别。该网络采用自适应抽样节点的方法，在传递信息时动态地预测节点相关过滤器权重和关联矩阵，以实现对自我注意机制的设计。研究结果表明，基于该模型的 Transformer 骨干网络在图像分类和物体检测等四种不同任务上，相对于现有的最先进技术，能够显著提升性能，同时性能优于完全连接的图并使用更少的浮点运算和参数。

    Sep, 2022

  • 从图像到视频的双路径变换器自适应

    本文提出了一种新的 DualPath 适应性算法，将图像 transformers 的表示能力有效地转移至视频理解中，包括空间和时间建模，极大地拓展了预训练表示的泛化，同时在四个动作识别基准测试上进行了广泛实验比较。

    Mar, 2023

  • 基于自适应动态融合网络的基于语言的时尚检索系统

    在语言和时尚图像检索的领域中，使用参考图像和相应的文本描述来定位所需的时尚项目是一个有趣的挑战。本文提出了一种自我提取的动态融合网络，通过同时考虑路由路径的一致性和模态特定信息，动态地组合多粒度特征。我们的方法包括两个新模块：（1）具有模态特定路由器的动态融合网络，通过考虑参考图像和修改文本的不同语义和分布，实现了灵活的路由确定；（2）自我路径提取损失，通过使用先前路径信息逐步改进查询的路径决策，有利于特征提取和路由的优化。大量实验证明了我们提出的模型相对于现有方法的有效性。

    May, 2024

  • 多样化动态路由用于视觉任务

    该论文提出了一种名为 “Diversified Dynamic Routing” 的新型神经网络模型，通过无监督学习的方式解决了 Mixture of Experts 模型中存在的两个问题，用于在 Cityscapes 和 MS-COCO 上进行深度学习的语义分割和实例分割任务，相对于其他基准模型的表现有所提高。

    Sep, 2022