BriefGPT.xyz
Dec, 2023
Prompt Highlighter:多模态LLMs的交互控制
Prompt Highlighter: Interactive Control for Multi-Modal LLMs
HTML
PDF
Yuechen Zhang, Shengju Qian, Bohao Peng, Shu Liu, Jiaya Jia
TL;DR
该研究介绍了一种新的推理方法,Prompt Highlighter,通过在生成过程中用户可以突出特定的提示段来实现交互式控制,利用突出显示的令牌通过注意力权重指导模型来产生期望的输出。实验结果证实了该方法在关注输入背景和生成可靠内容方面的有效性。
Abstract
This study targets a critical aspect of
multi-modal llms
' (LLMs&VLMs) inference:
explicit controllable text generation
.
multi-modal llms
e
→