随机融合优化运输的 Transformer

Oct, 2023

Transformer Fusion with Optimal Transport

Moritz Imfeld, Jacopo Graldi, Marco Giordano, Thomas Hofmann, Sotiris Anagnostidis...

TL;DR基于最优输运的层对齐方法，能够融合不同大小的变压器网络，提供了一种压缩变压器的新方法，并在图像分类和自然语言建模任务中表现出优越性能。

Abstract

fusion is a technique for merging multiple independently-trained neural networks in order to combine their capabilities. Past attempts have been restricted to the case of fully-connected, convolutional, and residual networks. In this paper, we present a systematic approach for fusing t

fusion transformer-based networks optimal transport layer alignment heterogeneous fusion

发现论文，激发创造

最优传输中的模型融合

该研究提出了一种基于神经网络的逐层模型融合算法，使用最优传输方法将多个模型中的神经元对齐，并将其相关参数平均化，以实现 “一次性” 知识转移，从而有效地提高了模型的性能和压缩率。

Oct, 2019

通过最优输运实现元剪枝

该论文介绍了一种名为 Intra-Fusion 的新方法，通过使用模型融合和最优传输的概念，重新定义了神经网络修剪的程序，实现了更有效的稀疏模型表示，并在不需要资源密集型微调的情况下显著提高了准确性恢复，从而成为神经网络压缩的一种高效且有前景的工具。

Feb, 2024

FuseFormer: 用于视觉和热图像融合的 Transformer

通过整合转换器模型的多尺度融合策略，本研究提出了一种新的图像融合方法，以克服使用评价指标作为损失函数所带来的局限性，并改善了整体方法的效果。

Feb, 2024

视觉 Transformer 的多模态 Token 融合

本文提出了一个针对基于 Transformer 的视觉任务的多模态令牌融合方法（TokenFusion），可以在保持单模态 Transformer 结构基本不变的同时，学习多模态特征之间的相关性，并超越三个典型视觉任务中的最先进方法。

Apr, 2022

TFusion：基于 Transformer 的 N 到 One 多模态融合块

本文提出了一种基于 transformer 的多模态融合块 TFusion，采用 tokens 和 transformer layers 自动学习融合可用多模态，引入 modal attention 机制减少依赖于特定模态，可用于多模态人体活动识别和脑肿瘤分割任务，并取得了更好的性能表现。

Aug, 2022

图像融合变换器

本研究提出一种新的基于 Transformer 的图像融合方法，采用多尺度融合策略同时关注局部和全局信息，使用卷积神经网络与 Transformer 分支捕捉局部和长程特征，经对比实验表明，该方法优于当下多种融合算法。

Jul, 2021

使用 Transformer 融合句子进行摘要学习

本文探讨了利用 Transformers 中的点对点对应关系增强句子融合能力的算法，通过大量实验发现，建模句子之间的对应点对于有效的句子融合至关重要。

Oct, 2020

TransFusionOdom: 基于 Transformer 的 LiDAR - 惯导融合里程估计

本研究中，我们提出了一个基于 Transformer 的 LiDAR-Inertial 融合（即 TransFusionOdom）的端到端受监督的 odom 估计框架，用于解决传感器融合中的挑战性问题。我们提出的多注意力融合模块可展示多种同构和异构融合策略，以解决盲目增加模型复杂性带来的过拟合问题，而且使用了一种通用的可视化方法来说明基于 Transformer 的多模态交互学习过程。我们公开了一个综合多模态数据集以验证传感器融合贡献的通用性，并在 KITTI 数据集上进行了定量和定性 odom 评估，结果表明与其他相关工作相比，我们提出的 TransFusionOdom 具有更好的性能。

Apr, 2023

TransFusion: 基于 Transformer 的对比学习

这篇论文提出了一种新的框架 TransFusion，旨在使对比学习的过程更具分析性和可解释性，进而通过最小化 Jensen-Shannon 散度来训练模型，提取并分类复杂真实世界数据中的特征，从而提高下游任务的分类准确性。

Mar, 2024

自主驾驶的空间编码传感器融合

该论文介绍了一种使用 Transformer 模块在多个分辨率上有效合并局部和全局上下文关系的相机和 LiDAR 数据融合方法，并通过与两个具有长途路线和高密度交通的对抗基准的广泛实验证实了该方法的性能优势。与之前的方法相比，该方法在最具挑战性的基准测试中取得了显著更高的驾驶和违规得分，对于 Longest6 和 Town05 Long 基准测试，分别取得了 8% 和 19% 的提升。

Aug, 2023