Feb, 2024
Query-OPT: 通过多查询指令优化会议摘要中大型语言模型的推理
Query-OPT: Optimizing Inference of Large Language Models via Multi-Query Instructions in Meeting Summarization
Md Tahmid Rahman Laskar, Elena Khasanova, Xue-Yong Fu, Cheng Chen, Shashi Bhushan TN
TL;DR该研究探讨了使用大型语言模型(LLMs)进行基于查询的会议摘要生成任务,通过在单个提示中组合相同输入上下文的查询以最小化重复调用,优化推理成本,发现多数 LLMs 对于多查询指令存在响应,但除 GPT-4 外,即使进行了微调,几乎所有 LLMs 都无法以所需的输出格式正常生成响应,因此多查询提示只适用于特定的 LLMs。