- PM2: 一种新的提示多模型模型范式用于少样本医学图像分类
在医学图像分类中，提出了一种基于多模型基础模型的新的提示多模型模型范例（PM2），通过多种提示方案以及线性探测技术，PM2 能够有效地应对医学图像分类的挑战并取得了最先进的性能。
- 第一位知道的人：令牌分配如何揭示大型视觉语言模型中的隐藏知识？
大型视觉 - 语言模型（LVLMs）在理解和回应人类指令时偶尔生成幻觉或有害内容。本研究利用线性探测方法揭示 LVLMs 输出层的隐藏知识，证明首个令牌的逻辑回归分布包含足够信息以决定是否回应指令，包括识别无法回答的视觉问题、防御多模态越狱 - 大型视觉语言模型的少样本自适应研究
通过引入适应真实场景需求的新方法，我们综合评估了一个广泛的数据集和场景，发现其在实践中始终优于现有技术，同时作为更高效的替代方案。
- 通过互信息的变分下界理解探针行为
自监督表示、线性探测、信息论、互信息、线性可分表示
- 谱时对比学习
无监督学习与对比学习相结合的时间对比学习方法（STCL）基于谱分析来构建损失函数，利用示例数据的线性探测表现来评估图的谱特性。
- 线性表示假设与大语言模型的几何性质
用因果内积统一各种线性表示概念，通过使用反事实对实验表明线性表示概念的存在，与解释和控制的连接以及内积选择的基本作用。
- 少即是多：预训练模型在少样本任务中的特征冗余
使用预训练模型进行线性探测，当下游数据稀缺或少样本时，预训练特征可能是非常冗余的；而在少样本任务中，只使用最重要的特征维度的 1% 就能恢复与使用完整特征表示所达到的性能。根据理论分析，高方差和类中心之间距离较小的特征维度可能是影响少样本转 - 约束下的重编程：重新审视彩票票据的高效可靠转移
在计算机视觉领域，本研究通过以稀疏性为约束条件，探索了基于基础模型的线性探测和视觉提示 / 重新编程这两种方法的能力，并验证了对于某些目标数据集，重新编程的稀疏模型低于重新编程的稠密模型的性能，且相应的上游性能相似，同时证明稠密模型的校准始 - 领域感知微调：增强神经网络的适应性
本文介绍了 Domain-Aware Fine-Tuning (DAFT) 的方法，该方法通过批量归一化转换和线性探测与微调的集成来有效减轻特征扭曲，并在分布和非分布数据集上实现了改进的模型性能。
- ICCV通过 Moment Probing 调整预训练模型
我们提出了一种新的 Moment Probing (MP) 方法，通过特征分布上的线性分类器，利用特征中更丰富的统计信息来进一步探索 LP 的潜力，并通过多头卷积交叉协方差（MHC^3）以高效有效的方式计算二阶矩。通过在十个基准测试上进行广 - 跨域问答泛化学习
通过结合提示方法和线性探针 fine-tuning 策略，我们提出了一种新颖的方法，可以有效提高生成模型和判别模型的泛化能力，特别在跨领域问题回答 (QA) 任务上表现优异。
- 通过自监督学习学习的视觉表示的评估协议反思
本文研究无监督学习问题，并探究线性探测，转移学习，以及超参数对表现的影响，发现加入输入规范化非常重要，一定程度上可以消除超参数带来的性能变动，并且超参数在 TL 任务中会对表现产生重大影响。
- 通过插值正交特征进行样本高效的域适应
本文提出了一种名为 Pro$^2$ 的轻量、样本高效的方法，通过将预训练嵌入映射到正交方向来学习多样的预测特征，并在小目标数据集上适应目标分布。在多个数据集上的试验表明，与标准线性探测等先前方法相比，Pro$^2$ 提高了 5-15% 的性 - AAAIPrompt-Augmented Linear Probing: 扩展少样本情境下学习器的极限
本文介绍了一种名为 Prompt-augmented Linear Probing (PALP) 的方法，它是一种线性探测和上下文学习 (ICL) 的混合体，利用这两种方法的最佳部分。PALP 通过将输入数据整理成更可理解的形式来使语言模型 - ICLRFine-Tuning 可以扭曲预训练特征且在超出分布时表现不佳
本文研究预训练模型在下游任务中的迁移方法，发现在预训练特征优秀且分布偏移较大的情况下，与全微调相比，线性探针能够获得更好的模型鲁棒性，同时，我们证明以固定或随机线性层初始化的全微调方法会导致模型在分布偏移下的错误率明显上升，而线性探针再进行 - ICML利用中间表示进行更好的迁移学习：Head2Toe
本文介绍了一种名为 Head-to-Toe probing（Head2Toe）的新型迁移学习方法，在 VTAB-1k 数据集上通过选择源模型所有层的特征进行目标领域的分类，能够在保证模型性能的情况下将训练和存储成本大幅度降低，并且对于分布外 - 线性探查与最小哈希需要的 k - 独立性
通过构建 4 倍独立的哈希函数，实现了期望对数搜索时间的线性探测，对于（1+ϵ）- 近似的 minwise 独立，需要 Ω（log 1/ϵ）独立的哈希函数匹配一个上限，并证明了 Dietzfelbinger [STACS'96] 的快速 2