在当前的研究中，根据最新的 DETR（DEtection TRansformer）范式，基于查询的端到端实例分割（QEIS）方法在大规模数据集上训练时表现出了卓越的性能，尤其是与基于 CNN 的模型相比。然而，当面对有限的训练数据时，这些 QEIS 方法的有效性显著降低。为解决这一问题，我们提出了一种新颖的方法，用于无监督预训练在低数据环境中，即 Unsupervised Pre-training with Language-Vision Prompts (UPLVP)，通过将语言 - 视觉提示引入查询 / 核心，改善了 QEIS 模型的实例分割。我们的方法包括三个部分：(1) Mask Proposal：利用语言 - 视觉模型基于无标签图像生成伪掩膜。(2) Prompt-Kernel Matching：将伪掩膜转换为提示，并将最佳匹配的定位和形状特征注入到对应的核心中。(3) Kernel Supervision：以核心级别制定预训练的监督，以确保鲁棒学习。在我们的预训练方法的帮助下，QEIS 模型可以在低数据环境中更快地收敛并表现出更好的性能，实验评估表明，当使用我们的方法进行预训练时，QEIS 模型在 MS COCO、Cityscapes 和 CTW1500 数据集上的表现可以显著提高。代码将在此 https URL 中提供。

May, 2024

通过使用图像 - 得分对（ISP）来引导预测，并通过数据增强策略训练，我们提出了 PromptIQA 方法来适应各种多样化的 IQA 任务需求，并具有更高的性能和更好的泛化能力。

Mar, 2024

利用自我监督学习从大规模、无标签数据集中学习表示已被证明对于理解各种远程感知图像非常有效。本研究提出了一种增强型自我监督表示学习方法，通过简单而高效的预训练流程，解决了对比学习中的假阳性匹配问题以及重构学习中缺失上下文信息的问题，并通过语义一致性约束提供上下文信息。实验证明该方法在土地覆盖分类、语义分割、目标检测和实例分割等多个下游任务上优于全监督学习模型和目前最先进的自我监督学习方法，表明该方法能够学习出具有高泛化性和可迁移性的远程感知表示。

Sep, 2023

本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

Apr, 2023

该文章介绍了一种基于多模式提示的创新图像质量评估方法，通过精心设计的提示，从视觉和语言数据中挖掘增量语义信息，在不同数据集上展现出竞争性能，达到了鲁棒性和准确性的提升。

Apr, 2024

本文介绍了一种基于深度学习的微观细胞图像语义分割，提出了针对数据量少的高效学习框架，并提出了一次学习和部分监督学习这两种学习策略以及使用小提示图像的新型分割方法。实验结果证明，与传统方法相比，提出的方法提高了 Dice 系数 (DSC)。

Apr, 2023

本文介绍了一种统一的基于提示的数据集构建方法，使用点、盒、和掩模提示提供了近似的湖泊位置，并提出了一种两阶段基于提示的增强框架 LEPrompter，在训练过程中使用提示编码器提取先验信息，通过自关注和交叉关注将提示标记和图像嵌入进行整合，在推理期间关闭提示，从而实现了自动湖泊提取。在 Surface Water 和青藏高原湖泊数据集上的评估结果表明，与最先进方法相比，LEPrompter 在两个数据集上都取得了一致的性能提升，mIoU 得分分别达到 91.48% 和 97.43%，而且没有引入额外的参数或 GFLOPs。辅助材料包括源代码、预训练模型和详细的用户研究。

Aug, 2023

过去几年中，深度神经模型在图像质量评估 (IQA) 方面取得了显著进展，但由于深度神经网络的复杂性，其成功的原因仍不清楚。本文通过进行实证研究揭示了 IQA 和 Saliency Prediction 任务之间的关系，证明了前者包含了后者的知识，并引入了一个新颖的 SACID 数据集进行大规模的经典和基于神经网络的 IQA 方法比较。

May, 2024

本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

Dec, 2022

本文探讨如何使用预训练的 2D 知识，通过 Point-to-Pixel Prompting 对预训练的图像模型进行微小调整，以适应于点云分析任务。经过广泛实验，该方法取得了很好的成绩，并在 ScanObjectNN 的最难设置上达到了 89.3% 的准确度。

Aug, 2022