Self-Context Adaptation (SeCAt) 是一种自供给的方法，通过学习符号化的、自供给的训练任务，解锁了小型视觉语言模型的开放性少样本能力。我们的方法模仿图像的自供应方式，通过对大量图像进行聚类，为聚类分配语义不相关的名称，构建了 “自上下文”，即由图像和伪标题对序列交替和查询图像组成的训练信号，模型要训练出正确的伪标题。我们在几个多模态少样本数据集上展示了 SeCAt 的性能和灵活性，涵盖了各种粒度。通过使用大约 10 亿个参数的模型，我们的性能优于更大的模型，如 Frozen 和 FROMAGe，为开放性少样本学习中需要访问大型或专有模型的研究开辟了新的可能性。

Sep, 2023

通过一个多样化的、合成的虚拟家庭环境 -“场景背景” 数据集 (OCD)，本文提出了一种基于上下文的识别变压器模型，将对象和背景信息通过多头注意模式进行融合，能够捕捉上下文推理的有用信息，在 OCD 和其他 “场景背景” 数据集上，使人机都能表现出类似的性能和更好的较强的鲁棒性。

Apr, 2021

该研究探讨了利用空间上下文作为丰富的视觉表征的监督信号的方法。通过从每个图像中提取随机配对的路径来训练卷积神经网络，用于预测第二个路径相对于第一个路径的位置，从而实现对目标的识别，并证明该方法在性能上优于其他算法。

May, 2015

本研究提出了一种新型的自监督关系式推理算法，通过学习如何区分实体之间的关系，使得在底层神经网络骨干中具备丰富的关系描述能力。该算法在标准数据集、协议和骨干模型上的实验结果表明，它的准确性比现行同类算法平均提高 14％，比最近的最先进算法提高 3％，对提高下游任务的表现非常有效。

Jun, 2020

本文提出了一种基于语义分割的新方法 SpaCoNet，旨在同时模拟对象的空间关系和共现情况，进而在室内场景识别任务中生成语义引导的特征表示，该方法具有良好的通用性和效果。

May, 2023

本文研究了利用自监督学习获取对象集中表示的关键方面，并在 CLEVR 数据集上运行了一些实验来验证我们的见解。我们的结果表明，竞争式注意力对象发现对于学习对象集中表示非常重要。对于训练，我们证明了在潜在空间中应用具有匹配性的对比损失，避免了基于像素的重建。但是，该优化目标对假阴性（重复对象）和假阳性（匹配错误）非常敏感。因此，需要仔细考虑数据增强和负样本选择。

Mar, 2022

通过将语境知识编码到知识图中，提高深度学习方法的鲁棒性，增强物体识别模型对于跨领域和真实世界场景的表现。

Oct, 2022

本文提出了一种基于语义表示的全新的 Zero-Shot Learning 方法，并引入了上下文因素提高了对象的分类效果，通过在 Visual Genome 上进行的实验表明，增加上下文信息可以显著提高标准的 ZSL 方法。

Apr, 2019

通过模拟时间序列的视觉经验，结合既视感与语言的对齐，我们的研究表明时间和既视感对齐是解释人类某些形式的语义知识起源的可能计算原理。

Apr, 2024

本研究提出一种对物体在不同域中的识别问题采用监督学习和自监督学习方法相结合的多任务学习算法，通过学习对象形状，掌握空间定向和部件相关性等概念，证明该算法在域通用和适应性方面具有较高的竞争力。

Jul, 2020