Apr, 2023

探索提高视觉上下文学习效果的因素

PDF
TL;DR该论文提出了一个简单框架 prompt-SelF，以增强视觉上下文学习的推理性能。通过实验证明 prompt selection 和 prompt fusion 是影响视觉上下文学习性能的主要因素之一。在单物体分割和检测任务上，prompt-SelF 在 1-shot 分割方面优于基于元学习的 OSLSM，展示了视觉上下文学习的巨大潜力。
in-context learningprompt selectionprompt fusionvisual modelsegmentation
发现论文，激发创造
  • 全球最佳视觉上下文学习提示选择

    通过提出一种新颖的上下文示例选择框架 Partial2Global，使用基于 transformer 的列表式排序器和一致性感知的排序聚合器，本研究在前景分割、单对象检测和图像上色等任务上验证了其有效性，并与其他方法进行了比较，提出了新的科学研究前沿。

    May, 2024

  • 指示我更多！用于视觉背景学习的随机提示

    通过引入可学习的扰动（提示），我们提出了一种名为 Instruct Me More（InMeMo）的方法，以增强视觉上下文学习的性能，对前景分割和单物体检测任务的 mIoU 分数分别提高了 7.35 和 15.13。

    Nov, 2023

  • 走向更统一的上下文视觉理解

    我们提出了一种新的具有多模态输出功能的视觉理解的上下文学习框架，通过将文本和视觉提示量化和嵌入到统一的表示空间中，并采用仅具有解码器的稀疏 Transformer 架构在其上执行生成建模。实验结果表明，我们的模型在统一的多模态管线中实现了与专门模型和先前上下文学习基准模型相竞争的性能。总体而言，我们的研究在统一多模态上下文学习方面迈出了进一步的一步。

    Dec, 2023

  • 视觉语言理解的情境提示学习

    本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

    Jul, 2023

  • 计算机视觉中背景学习的灵活视觉提示

    通过对现代视频对象分割技术的可视化上下文学习方法进行改进，我们提出了一种用于图像分割的上下文学习方法，并通过在支持集大小和不同分割数据集上进行评估，验证了该方法在效果上超越现有技术，并在包含训练集未遇到的类别的数据上表现出色，另外我们还提出了一种支持集选择技术，通过选择最相关的图像来提高各种测试方法的性能，而无需进行额外的训练或提示调整。

    Dec, 2023

  • 构建一个良好的提示或者提供典型的对话？关于基于人物的对话生成的上下文学习研究

    通过在高质量的真实人类中文对话数据集上对大型语言模型（LLMs）在基于角色的对话生成中的上下文学习能力进行广泛实验，我们的工作填补了上下文学习研究在人类对话生成领域的空白。从实验结果中，我们得出了三个结论：1）调整提示指令是改善生成质量最直接、最有效、最经济的方法；2）随机检索演示（demos）可以取得最好的结果，可能是因为其更大的多样性和有效信息的数量；与查询上下文完全相同的检索演示的表现最差，与直觉相反；3）即使在演示中破坏了多轮关联和单轮语义，增加演示数量仍然可以提高对话性能，证明了 LLMs 可以从损坏的对话演示中进行学习。先前对 ICL 机制的解释，例如 $n$-gram 归纳头，不能完全解释这一现象。

    Feb, 2024

  • 上下文学习如何帮助提示调整？

    该研究通过实验测量了几种不同的文本生成任务原始模型的表现，对比分析了几种参数有效的适应方法（如提示调整、上下文学习和指导性提示调整），并通过 IPT 探究了这些方法之间的交互作用和优缺点。

    Feb, 2023

  • ICPC：基于对照学习的实例条件提示的语义分割

    通过改进提示设计和损失函数，我们提出了一种实例条件提示与对比学习（ICPC）框架，改善了视觉和文本嵌入对准的质量，并在三个大规模数据集上展示出改进的性能。

    Aug, 2023

  • 更多样本还是更多提示输入？探索用于 LLM 少样本提示工程的有效上下文抽样

    本文介绍了一种低资源的 LLM 提示工程技术，名为 In-Context Sampling（ICS），通过优化构建多个 ICL 提示输入以获得最有信心的预测结果；在两个 SOTA LLMs（FlanT5-XL 和 Mistral-7B）以及三个 NLI 数据集（e-SNLI、Multi-NLI 和 ANLI）上进行的大量实验表明，ICS 可以始终提高 LLM 的预测性能和置信度，并且消融研究表明多样化的 ICS 策略可能进一步改善 LLM 的性能，为未来的研究方向提供了新的有前途的思路。

    Nov, 2023

  • 提示在敏感性方面的差异如何？

    基于函数的敏感性进行全面的提示分析，揭示了敏感性作为模型性能的一个非监督代理，与准确度呈强负相关。通过梯度敏感度分数，实证展示了不同提示对输出的输入符号的相关性产生不同敏感度。还引入了敏感度感知解码，将敏感度估计作为标准贪婪解码中的惩罚项，特别适用于输入信息稀缺的情况。对提示的分析提供了新的视角，有助于更好地理解 ICL 机制。

    Nov, 2023