多视图子空间学习的深度共注意力网络

WWWFeb, 2021

多视图子空间学习的深度共注意力网络

Deep Co-Attention Network for Multi-View Subspace Learning

Lecheng Zheng, Yu Cheng, Hongxia Yang, Nan Cao, Jingrui He

TL;DR本研究提出了一种基于深度学习的共同关注网络，用于多模态数据的子空间学习，能够提取共性信息和补充信息，并通过协同关注机制向最终用户提供预测的解释。通过引入分类器和交叉重构损失以优化潜在表示和加速收敛速度，最终在合成数据和实际数据集上进行了广泛评估。

Abstract

Many real-world applications involve data from multiple modalities and thus exhibit the view heterogeneity. For example, user modeling on social media might leverage both the topology of the underlying social network and the content of the users' posts; in the medical domain, multiple views could be X-ray images taken at different poses. To date, various tec

multi-modal data subspace learning co-attention mechanism interpretable predictions deep learning

发现论文，激发创造

多视角深度子空间聚类网络

通过提出一种新的多视角深度子空间聚类网络 (multi-view deep subspace clustering network, MvDSCN)，并借助多元深度自显式矩阵 (self-representation matrix) 来学习，该模型可用于探测互补信息以有助于提取内在的结构，并且优于其他的多特征、多模态学习模型。

Aug, 2019

深度协同训练半监督图像识别

本文研究在有标记和无标记图像的情况下学习分类器的半监督图像识别问题。我们提出了 Deep Co-Training 方法，该方法基于 Co-Training 框架，并通过对抗样本促进视角差异性以防止多个深度神经网络之间的折叠。在 SVHN、CIFAR-10/100 和 ImageNet 数据集上进行测试，结果表明我们的方法大幅优于先前的最先进方法。

Mar, 2018

看得更多，知道得更多：利用联合注意力孪生网络进行无监督视频对象分割

提出了一种名为 COSNet 的新型网络，用于表示全局视角下的无监督视频对象分割任务，其中利用全局注意机制结合视频帧之间的相关性，训练效果超越当前的深度学习方法。

Jan, 2020

密集型多任务学习的跨任务注意机制

该研究介绍了一种多任务学习架构，通过相关性引导的注意力和自我关注增强平均表示学习，以通过 2D 语义分割和几何相关的任务来综合理解复杂场景，并在室内和室外数据集上展示了其好处。

Jun, 2022

基于条件交叉注意网络的多空间嵌入，避免仅使用单一网络引入纠缠

我们提出了一种条件交叉注意力网络，通过一个单一的主干网络产生可以区分出对象多个具体属性的解缠多空间嵌入。该方法首先利用交叉注意力机制融合和切换条件信息，通过多样的可视化示例证明其有效性。其次，首次将视觉变换应用于细粒度图像检索任务，并提出了一个简单且有效的框架，与现有方法相比。与以往研究不同的是，我们的方法在 FashionAI、DARN、DeepFashion 和 Zappos50K 基准数据集上取得了始终如一的最先进性能。

Jul, 2023

基于注意力机制的多视角网络表示学习协作框架

本文研究多视角学习节点表示，提出了一种多视图表示学习方法，促进了不同视图之间的协作，并让它们为健壮表示投票，投票过程中引入了注意机制，实验结果表明该方法优于现有的单视图和竞争的多视图网络表示学习方法。

Sep, 2017

StudyFormer：基于注意力和动态多视角分类器的 X 光图像研究

该文提出了一种利用卷积神经网络和视觉变压器结合的方法，用于从多视角合并信息以提高 X 射线图像分类性能，实验表明该方法超越了单视角模型以及传统的多视角分类架构。

Feb, 2023

基于子空间共正则化的多视角学习的跨语言文本分类

该研究提出了一种基于子空间共同正则化多视角学习的新的跨语言文本分类方法，通过机器翻译产生的平行语料库来使不同语言间的标签知识得以转移，该方法在大量跨语言文本分类任务上优于其他归纳方法，领域自适应方法和多视角学习方法。

Jun, 2012

多阶段合作学习的胸部 X 光透视与临床视觉注意预测：增强解释性

使用新型深度学习框架，结合医生的视觉注意力图，在胸部 X 射线扫描中实现关节疾病的诊断和预测对应的视觉显著性图，提高计算机辅助诊断质量。

Mar, 2024

基于多视角语义一致性的文本监督分割掩模发现 (ViewCo)

本文提出了一种基于文本监督的分割方法，使用多视角一致性学习的方法解决了现有工作中对于同一图像的多个视角的对应问题。实验结果表明，该方法在几个数据集上的平均表现比现有方法提高了最高 2.9％的 mIoU。

Jan, 2023