Feb, 2024

视觉语言模型的开放词汇校准

PDF
TL;DR通过调整温度值，根据预测文本标签与基本类之间的距离，我们提出了一种名为距离感知校准（DAC）的简单有效方法，来解决视觉语言模型中存在的置信度校准问题。在 11 个不同的下游数据集上对 7 种不同的提示学习方法进行的实验验证了 DAC 的有效性，并且不影响推理速度。
vision-language modelsconfidence calibrationprompt learningparameter-efficient fine-tuning methodsdistance-aware calibration
发现论文，激发创造
  • 视觉语言模型校准的关键因素的实证研究

    本研究探究了视觉语言模型（VLMs）在不同架构、数据集和训练策略下的校准性能，发现温度缩放显著且一致地改善了校准性能，即使在分布转变和标签集改变的情况下，借此实验结果，我们强调了我们对 VLMs 的理解在关键实际场景中的潜在应用和重要性，旨在更可靠、有效地使用 VLMs。

    Feb, 2024

  • 迈向经过校准的鲁棒视觉语言模型微调

    就细调技术在预训练模型的潜力释放和模型在分布偏移中的鲁棒性之间存在权衡关系，研究提出了一种校准鲁棒微调（CaRot）方法，以在内部数据和外部数据集上提高预训练视觉 - 语言模型（VLMs）的校准性和鲁棒性。验证结果证明了该方法的有效性。

    Nov, 2023

  • 过度自信是关键：大型语言和视觉 - 语言模型中的口头不确定性评估

    该论文评估了语言和视觉 - 语言模型的可靠性，并提出了新的日本不确定场景数据集以及测量校准误差的方法。结果表明，语言和视觉 - 语言模型都存在较高的校准误差，并且大部分时间都表现出过度自信，说明其对不确定性估计的能力较弱。此外，研究还发展了回归任务的提示方法，并证明视觉 - 语言模型在生成均值 / 标准差和 95% 置信区间时存在校准不良。

    May, 2024

  • 语言模型作为视觉 - 语言模型的黑盒优化器

    通过自然语言提示，我们提出了一种新颖的视觉语言模型微调方法，利用基于对话的大型语言模型作为黑盒优化器，在少样本图像分类任务中通过对话过程中的文本反馈，自动搜索最佳文本提示，从而避免了对模型参数、特征嵌入或输出标签的访问。

    Sep, 2023

  • 面向视觉 - 语言模型的分布感知提示调整

    通过学习大规模数据的知识，预训练的视觉 - 语言模型（VLMs）在各种下游任务中表现出色。本文提出了分布感知的提示微调（DAPT），通过对齐两种模态之间的特征空间，并对每种模态的嵌入进行良好排列，显著改善了模型的泛化能力。

    Sep, 2023

  • ProbVLM：基于概率的适配器用于冻结的视觉语言模型

    该研究提出了 ProbVLM，一种新的方法来评估大规模视觉语言模型的多模态嵌入不确定性，以及如何利用该不确定性来提高主动学习和模型选择的效果。

    Jul, 2023

  • OpenDAS: 开放词汇切分的领域适应

    我们提出了一种基于视觉语言模型的领域自适应方法，通过结合参数高效的提示微调和三元组损失训练策略，提高了开放词汇的普适性，并适应了视觉领域，改善了开放词汇分割任务中的性能。

    May, 2024

  • LitCab: 轻量级语言模型校准在多种长度输出上

    LitCab 是一种轻量级的校准机制，通过仅增加不到原始模型参数数量的 2% 的线性层对输入文本表示进行操作，改善了模型校准，提升了在不同文本生成任务上的性能，并对不同模型进行综合评估，得出了关于模型校准的关键发现。

    Oct, 2023

  • 探索用于不平衡学习的视觉 - 语言模型

    本文针对 Vision-Language models 在处理 imbalanced dataset 时性能较差的问题，提出了加入 lightweight decoder 和 imbalanced 方法的改进方案，并在 ImageNet-LT iNaturalist18 和 Places-LT 三个数据集上进行了实验，证明改进后的 VLMs 相较于原来的 zero-shot classification 方法，在准确率上有显著提升。

    Apr, 2023

  • LLMs 的置信度评分多重校准

    通过使用 “多校准” 技术，本文提出为大型语言模型生成可解释和可靠的置信度分数。通过在各种数据交叉组合上同时校准，可以显著提高校准和准确性。

    Apr, 2024