ComPtr：通过简单而通用的互补 Transformer 实现多元双源密集预测任务

Jul, 2023

ComPtr：通过简单而通用的互补 Transformer 实现多元双源密集预测任务

ComPtr: Towards Diverse Bi-source Dense Prediction Tasks via A Simple yet General Complementary Transformer

Youwei Pang, Xiaoqi Zhao, Lihe Zhang, Huchuan Lu

TL;DR本文构建了一种新型的用于多源密集预测任务的互补转换器，ComPtr，通过信息互补性和差异感知组件，从不同的图像源中提取重要的视觉语义线索，构建了一种高效的密集交互模型，在多个代表性视觉任务中，该方法始终获得了良好的性能。

Abstract

deep learning (DL) has advanced the field of dense prediction, while gradually dissolving the inherent barriers between different tasks. However, most existing works focus on designing architectures and construct

deep learning dense prediction comptr bi-source transformer

发现论文，激发创造

对比多任务密集预测

本文提出了一种基于特征对比一致性的多任务对比正则化方法，以解决多任务密集预测的跨任务交互建模问题，并在两个数据集上进行了大量实验，展示了该方法在密集预测方面的优越表现，创立了新的最先进性能。

Jul, 2023

CPTR: 图像标注的全变压器网络

本研究提出了 CaPtion TransformeR （简称 CPTR）这一基于序列到序列（sequence-to-sequence) 预测方法的图片标注任务模型。与传统的 “CNN+Transformer” 设计范式不同，本研究的模型从一开始就可以在每个编码层中对全局上下文进行建模，并完全摒弃了卷积层。在 MSCOCO 数据集上进行的大量实验证明了 CPTR 模型的有效性，本研究还提供了全 Transformer 架构中编码器中各个 Patch 之间的自注意力以及解码器中单词到 Patch 的注意力等详细的可视化效果。

Jan, 2021

DataComp：寻找下一代多模数据集

DataComp 基准测试是一个围绕 Common Crawl 的约 128 亿个图像文本对的数据集实验平台，通过提出新的训练集来激励数据集的研究。通过应用简单的过滤算法，DataComp-1B 被创建并用于训练一个 CLIP ViT-L / 14 模型，使其在 ImageNet 上达到 79.2％的零 - shot 准确率，表明通过精心策划的训练集可能会提高模型的性能。

Apr, 2023

面向推荐的多指针协同注意力网络

该论文提出了一种基于多层次范式的、利用评论进行推荐的神经网络结构，主要包括基于指针的学习方法和多指针学习方案，该结构相对于其他现有的方法在概率指标上有着显著优势。

Jan, 2018

通过辅助序列预测任务诱导 Transformer 的组合泛化能力

该论文提出了两种辅助序列预测任务来帮助解决神经模型在学习符号结构时的不足，并通过在 SCAN 数据集上的实验证明了所提出的方法可以提高 Transformer 模型理解命令的组合结构的能力。

Sep, 2021

Vision Transformers 的统一剪枝框架

该论文提出了一种名为 UP-ViTs 的统一结构修剪框架，可在保持模型一致性的同时，压缩 Vision Transformer 等模型的体积并提高模型的准确性。实验证明，UP-ViTs 在 Object Detection 等任务中取得了不俗的性能，并在 ImageNet 上超越了传统的 ViTs 模型。

Nov, 2021

多环境双超先验神经图像压缩

提出了基于 Transformer 的非线性变换和包含两个不同超先验的熵模型，通过有效地捕获输入图像的局部和全局信息以及利用远距关系提取长程信息，能够在速率 - 失真性能方面表现优于现有的方法。

Sep, 2023

多任务学习与多查询变换器用于密集预测

本文提出了一种名为 “Multi-Query Transformer” 的多任务模型，利用多个任务相关的查询来进行跨任务推理，通过查询在多个任务之间建立联系，使得跨任务交互变得简单高效，并在两个密集预测数据集（NYUD-v2 和 PASCAL-Context）上取得了最优效果。

May, 2022

密集型多任务学习的跨任务注意机制

该研究介绍了一种多任务学习架构，通过相关性引导的注意力和自我关注增强平均表示学习，以通过 2D 语义分割和几何相关的任务来综合理解复杂场景，并在室内和室外数据集上展示了其好处。

Jun, 2022

组合性作为词汇对称性

该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。

Jan, 2022