May, 2024
置信度感知子结构束搜索（CABS）：通过大型语言模型减轻结构化数据生成中的幻觉
Confidence-Aware Sub-Structure Beam Search (CABS): Mitigating Hallucination in Structured Data Generation with Large Language Models
Chengwei Wei, Kee Kiat Koo, Amir Tavanaei, Karim Bouyarmane
TL;DR使用大型语言模型（LLMs）生成结构化数据时，为了解决不正确引用或幻觉问题，需要将某种模型置信度方法纳入其中。本研究首先探讨了生成子结构级数据的置信度估计方法，引入了基于 LLM 变换器的 Confidence Network 概念，作为比传统的标记条件概率更有针对性的估计。其次，我们提出了 Confidence-Aware 子结构级 Beam Search（CABS），这是一种在结构化数据生成中操作子结构级别的新型解码方法。CABS 通过考虑 Confidence Network 为每个子结构级数据提供的置信度分数，并迭代优化提示信息，提高结构化数据生成的可靠性。结果表明，CABS 相比传统的标记级别 Beam Search，在产品属性生成问题上平均提高 90% Precision 下的回召率达到 16.7%。