本文提出了一种自我监督方法来解决代词消岐和 Winograd Schema 挑战问题，利用 transformer networks，采用特征训练语料库的结构，并构建配对对比辅助预测，通过对比边缘的互斥损失进行规范化，实现常识推理，在常识推理任务中表现良好，并且开辟了利用廉价的自我监督以便在常识推理中获得性能提升的途径。

May, 2020

该文提出了一种利用双向 Transformer 实现高效自监督学习的简单而有效的技术，该方法利用辅助损失函数引导注意力头符合自注意力特征，并可以适用于不同的预训练目标，实验证明该方法相对于基线模型更快收敛同时在下游任务中性能更好，在低资源环境中取得了业界领先结果。

Oct, 2020

该研究提出了一种基于变换后的注意力图的无监督深度度量学习方法，通过学习图像在比较中产生的视觉注意图的一致性，使用孪生深度神经网络对图像及其变化或匹配对进行编码和比较，并采用三元损失和对比聚类损失来增强生成特征的跨类别差别能力，实验结果表明该方法在无监督度量学习方面的表现超越了当前的最先进方法。

Aug, 2020

本研究提出了一种注意力机制结合无监督学习和对抗训练的图像转换方法，能够在不需要监督的情况下，准确地定位并转换图像中的特定对象，从而比现有技术实现更加逼真的图像转换。

Jun, 2018

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

自注意力机制是 transformers 在序列建模任务中取得卓越成功的关键，本研究提出了一种基于支持向量回归问题的自注意力构建方法，推导出常用的注意力层，并提出了两种新型注意力机制：1) 批正则注意力，2) 缩放头注意力，通过实证研究证明这两种注意力机制在提高模型准确性和效率方面的优势。

Jun, 2024

使用随机视觉变换器和 Wasserstein 距离引入不确定性和距离意识到自监督学习中，其通过在潜在表示中集成分布嵌入和基于分布的注意力矩阵，以及应用 Wasserstein 距离的正则化项，实现在多个数据集和任务上超越自监督基准的高准确度和校准性。

Nov, 2023

研究显示 ViTs 在不同的学习方法下能够学习不同的行为，并发现了一些在不同学习方法下相似的 ViT 行为，比如 Offset Local Attention Heads。同时发现对比自监督方法学习的特征与显式监督方法学习的特征竞争力相当，并且在某些情况下对于部分任务还优于显式监督方法。此外，基于重构模型的表示与对比自监督模型的表示存在非平凡的相似性。

Dec, 2022

本文研究了复杂的推理任务中注意力和记忆的作用，分析了 Transformer-based self-attention 模型，并通过增加记忆单元的方式对其进行了扩展，提出了一种结合了注意力和记忆的认知架构 GAMR，并在视觉推理测试中的表现超过了其他架构。

Jun, 2023

本文提出了一种基于查询选择注意机制（QS-Attn）的自监督对比学习方法，针对目前随机筛选特征点的问题，选择具有显著性的锚点进行对比损失，同时利用减小的注意力矩阵来实现特征点的路由，从而保持源域中的特征关系。在三个不同的 I2I 数据集中验证了该方法的有效性。

Mar, 2022