具备 Wasserstein 距离感知的随机视觉转换器

Nov, 2023

具备 Wasserstein 距离感知的随机视觉转换器

Stochastic Vision Transformers with Wasserstein Distance-Aware Attention

Franciskus Xaverius Erick, Mina Rezaei, Johanna Paula Müller, Bernhard Kainz

TL;DR使用随机视觉变换器和 Wasserstein 距离引入不确定性和距离意识到自监督学习中，其通过在潜在表示中集成分布嵌入和基于分布的注意力矩阵，以及应用 Wasserstein 距离的正则化项，实现在多个数据集和任务上超越自监督基准的高准确度和校准性。

Abstract

self-supervised learning is one of the most promising approaches to acquiring knowledge from limited labeled data. Despite the substantial advancements made in recent years, self-supervised models have posed a challenge to practitioners, as they do not readily provide insight into the

self-supervised learning uncertainty stochastic vision transformer wasserstein distance latent representations

发现论文，激发创造

使用分层随机注意力进行 Transformer 不确定性估计

本文提出了一种新的方法，使得 transformer 模型具有不确定性估计能力，同时保持原始预测性能，并且理论和实验结果表明，该方法在包括文本分类在内的任务上具有最佳的预测性能和不确定性平衡

Dec, 2021

自监督对比学习的几何理解

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022

针对自监督视觉变换器的补丁级别表示学习

本文设计了一种称为 SelfPatch 的简单而有效的视觉预训练任务，利用 ViT 的特性，在无需人工注释的情况下提高不同类型视觉任务的性能，通过训练神经网络对各种图像的无监督学习来实现。

Jun, 2022

通过解缠和自组装在随机潜空间上进行半监督学习

本文提出了一种结合半监督学习 (Semi-supervised learning, SSL) 和无监督分化表征学习的方法来增强自我聚合算法 (self-ensembling)，并以多标签分类的方式在胸部 X 光图像上进行了验证。结果表明，该方法的性能得到了改善，并且其分化的表征也更加具有解释性。

Jul, 2019

基于随机掩码采样的医学影像高效分布式视觉 Transformer 基础模型

该研究提出了一种基于自监督遮掩采样蒸馏方法的视觉 Transformer，它可以在不需要持续通信的情况下进行，同时使用特定于视觉 Transformer 的加密方法来增强隐私保护，经过对两种医疗数据和两种不同下游任务的广泛实验表明，该方法具有比现有的分布式学习策略和基线微调方法更好的性能，而自我监督模型可以具有对模态的一般语义理解能力，证明了其作为各种医疗任务的任务不可知基础模型的潜力，拓展了在医学领域的适用性。

Jan, 2023

基于注意力机制的对比学习在 Winograd Schema 上的应用

本文研究了将对比学习扩展到 Transformer attention 来解决 Winograd Schema Challenge 的能力，并提出了一种新的自监督框架，直接在自注意力层级上利用对比损失，最终在多个数据集上展现了优越的常识推理能力，该方法胜过所有可比的无监督方法，有时甚至超越有监督学习。

Sep, 2021

自监督学习中概率嵌入潜力揭示

自我监督学习在无标签数据中获取有意义的表示方面发挥了关键作用。在信息论框架内开发自我监督模型，我们提出以随机嵌入方式显式建模表示，并评估其对性能、信息压缩和超出分布检测的影响。研究结果表明，在表示和损失空间中，限制一个空间可能会影响另一个空间，从而导致性能下降。此外，我们的发现表明，在损失空间引入额外的瓶颈可以显著增强检测超出分布示例的能力，只利用表示特征或其潜在分布的方差。

Oct, 2023

通过输入变换的自监督标签增强

通过自监督学习，本文提出的单一统一任务学习方法能够有效地提高模型的准确性，并且在各种全监督学习场景下均具有广泛的适用性。

Oct, 2019

视频流连续学习中基于注意轨迹的随机相干性

提出一种新的基于神经网络的方法，该方法利用类似人类的注意机制来自主地以像素为单位学习视频流的表示，本文的实验表明，该方法可以在少量监督的情况下进行开放式类增量分类。

Apr, 2022

有监督的遮蔽知识蒸馏用于小样本变压器

本文提出了一种新的有监督掩蔽知识蒸馏模型 (SMKD)，将标签信息融入到自我蒸馏框架中，通过在类和图块标记上进行内部类知识蒸馏，并引入在类内图像中对屏蔽图块标记重构的挑战性任务，我们比以前的自我监督方法实现了更好的结果，实验结果显示，我们的方法在四个 few-shot 分类基准数据集上的性能优于以往方法。

Mar, 2023