DRPT:用于组合式零样本学习的解缨和循环提示调节
提出了一种名为 DFSP 的新型框架,它结合了视觉 - 语言模型 (VLM) 用于无人先前经验认知的建立,通过可学习的软提示与状态和对象的矢量组合来建立它们之间的共同表示,并在语言和图像分支之间设计了一种跨模式分解融合模块,从而更好地学习它们之间的关系,提高了成对空间中未知构成的反应,从而缩小了已知集和未知集之间的域间隙。实验结果表明,该方法在三个具有挑战性的基准测试数据集上对于已有的最先进方法有显着的改善。
Nov, 2022
本文提出了一种使用 CLIP 模型的语言信息分布 ——PLID 模型来增强光学识别任务中未知组合视觉概念的泛化性能,通过软提示类嵌入式的组合和原始的嵌入式混合策略来融合一致的分类决策。使用 MIT-States、UT-Zappos、C-GQA 数据集的实验结果表明,PLID 方法相较于其他方法表现更佳。
May, 2023
本文针对画面语言模型在组合式零样本学习领域存在的问题,提出了一种基于多路径识别分支的新型组合式零样本学习范式,同时加入跨模态牵引模块,通过大量实验验证, 该方法在闭环和开环设置下,均优于现有解决方案。
Mar, 2023
通过提出 Multi-Modal Prompt Tuning(MMPT)框架,我们实现了 Open World Compositional Zero-Shot Learning(OW-CZSL)任务的新的最先进结果。在 UT-Zappos 数据集上,MMPT 将 AUC 得分提高到 29.8%,而之前的最好分数为 26.5%。在更具挑战性的 MIT-States 数据集上,MMPT 的 AUC 得分优于当前的最先进方法 1.5 倍。
Dec, 2023
本论文提出了软提示调整强化密集检索的 SPTAR 模型,并可利用少量的真实数据优化特定的软提示。在实验中,SPTAR 在密集检索任务中获得了比 BM25 和基于 LLMs 的增强方法更优秀的结果。
Jul, 2023
本文提出了一种叫做 CSP 的组成式软提示技术,用于提高大规模预训练视觉 - 语言模型的零样本组成性能;对比已有的方法,CSP 通过训练学习组件而不是固定的预设生词表,可以实现更好的预测表现。
Apr, 2022
该研究论文介绍了一种名为 Open-world Prompt Tuning (OPT) 的问题设置,通过引入 Decomposed Prompt Tuning framework (DePT) 解决 OPT 问题,并提出了一种名为 Decomposed Context Optimization (DeCoOp) 的新型 prompt tuning 方法,实验证明 DePT 的有效性,并显示 DeCoOp 相较于当前最先进的方法有着 2% 的平均准确率的提升。
Jun, 2024
利用双重对齐提示调整 (DuAl-PT),结合大规模视觉语言模型和预训练大型语言模型,在少样本识别和基于新样本泛化上取得了卓越的性能,为未来研究提供了强有力的基准。
Sep, 2023
本文提出了一种新颖的 Siamese 对比嵌入网络(SCEN)方法和状态转移模块(STM),用于解决复杂情况下的无监督学习任务,实验表明该方法在三个基准数据集上均大幅优于现有方法。
Jun, 2022
该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架,并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明,与 vanilla fine-tuning 相比,DPT 在全集和低资源环境下都能显著提高性能,并解决了调整大型 PLMs 中的不稳定问题。
May, 2022