Dec, 2023

融合不同任务和领域的视觉 Transformer

PDF
TL;DR该研究旨在将训练在不同任务或领域的多个 Vision Transformers (ViTs) 合并成一个统一的模型，以保持每个任务或领域的良好性能，通过提出一种简单而有效的门控网络和模型权重相似性度量方法实现整体 ViT 模型的合并和性能提升。
vision transformersmodel merginggating networkmodel weight similarityvit merging framework
发现论文，激发创造
  • MDViT：用于小型医学影像分割数据集的多领域视觉 Transformer

    本文提出了 MDViT，这是第一个包含领域适配器的多领域 ViT，通过自适应地利用多个小型数据资源 (领域) 中的知识来减轻数据饥饿和对抗 NKT，实现增强跨领域的表示学习。在 4 个皮肤病变分割数据集上的实验表明，MDViT 胜过了最先进的算法，在推理时具有更好的分割性能和固定模型大小，即使增加更多的领域。

    Jul, 2023

  • ViTs 随处可见：综合研究展示不同领域中的视觉 Transformer

    Transformer 设计是自然语言处理任务的事实标准，并且对计算机视觉领域的研究人员产生了兴趣。与卷积神经网络相比，基于 Transformer 的 Vision Transformers（ViTs）在许多视觉问题中变得更加流行和占主导地位。

    Oct, 2023

  • 自主学习视觉 Transformer 用于领域泛化

    本文探讨使用自我蒸馏方法解决视觉 Transformer 在领域泛化问题上的过拟合问题，并在五个具有挑战性的数据集上实现了显著的性能提升，同时表现出了对最新领域泛化方法的优异性。

    Jul, 2022

  • 视觉 Transformer: 从语义分割到密集预测

    本研究首次探索视觉变换器（ViT）的全局上下文学习潜力以实现密集视觉预测，编码图像作为一系列补丁并学习全局上下文，使 ViT 可以捕获更强的长距离依赖信息，提出的分割转换器（SETR）在 ADE20K 和 Pascal Context 数据集上取得了出色表现，同时提出了一系列分层本地 - 全局转换器，架构由局部关注（在窗口内）和全局关注（跨窗口）构成，对于各种密集预测任务具有吸引人的性能

    Jul, 2022

  • 使用视觉 Transformer 进行语义分割：一项调查

    调查了不同的 ViT 架构用于语义分割的性能和使用基准数据集对其进行比较。

    May, 2023

  • 从 2D 视觉 Transformer 开始解决 3D 视觉任务？

    本文提出一种通用的视觉转换器（Visual Transformer），名为 Simple3D-Former，可用于高效地进行 2D 和 3D 任务的训练和预测，并且相比高度定制的 3D 特有设计实现了惊人的鲁棒性，同时利用大规模现实 2D 图像的预训练权重可免费提高 3D 任务的性能.

    Sep, 2022

  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021

  • GiT: 通向通用视觉 Transformer 的普适语言接口

    这篇论文提出了一种简单而有效的框架，名为 GiT，它能够同时适用于各种视觉任务，只需一个简单的 ViT 模型。

    Mar, 2024

  • 统一视觉 Transformer 压缩

    本论文提出了一种统一的 ViT 压缩框架，其中使用了修剪、跳跃层和知识蒸馏等三种有效技​​​​术，经过在 ImageNet 数据集上的实验验证，我们的方法在保证精度的前提下有效压缩 Vision Transformers，比目前已有的压缩方法表现更优。

    Mar, 2022

  • 卷积神经网络和视觉变换器在时尚 MNIST 分类中的应用：文献综述

    对卷积神经网络（CNN）和视觉 Transformer（ViT）在图像分类领域的比较分析进行了研究，特别关注电子商务行业中的服装分类。通过使用时尚 MNIST 数据集，研究了 CNN 和 ViT 的独特属性。研究发现，CNN 长期以来一直是图像分类的基石，而 ViT 引入了一种创新的自注意机制，可以对不同输入数据组件进行细致的加权。既有文献的综合分析揭示了 ViT 和 CNN 在图像分类领域的区别，同时研究了使用这两种架构的最新方法，旨在确定 ViT 和 CNN 在电子商务行业中对时尚 MNIST 数据集进行图像分类的最合适架构。本研究强调了将这两种架构以不同形式结合以提高整体性能的重要性，因为 CNN 擅长识别局部模式，而 ViT 擅长抓住整体上下文，这使得它们的组合成为提高图像分类性能的一种有前途的策略。

    Jun, 2024