这篇论文探究了最新的预训练语言模型生成的文本是否符合事实世界知识，并发现了在解码策略中存在着可验证性与重复性之间的权衡，提出了一种简单而有效的解码策略，可以生成更少重复且更易验证的文本。

Nov, 2019

通过对比模型的不同层次的逻辑概率分布，通过一个简单的解码策略来减少大语言模型中的幻觉，并提高生成真实、准确事实的能力。

Sep, 2023

在本文中，我们提出了多视角自一致性（MPSC）框架，这是一种新的用于大型语言模型（LLMs）的解码策略，它既包含了不同视角之间的一致性，也包含了单一视角内的一致性。通过在给定查询中对LLMs进行多样化采样，构建多分图并利用一致性分析来确定最优选择，我们的MPSC框架显著提高了代码生成任务的性能，甚至超过了GPT-4。

Sep, 2023

在含糊的整数序列填充任务中，我们在OpenAI模型套件上进行了一系列行为实验，发现平均一致性介于67％和82％之间，远高于模型一致性随机的预测，并随着模型能力的提高而增加。此外，我们发现模型在自我一致性上具有不良标定性，并且通常倾向于在潜在的答案中分配显著的权重。

Oct, 2023

该研究通过全面而多方位的分析，评估了大型语言模型在各种任务、模型和部署环境下的解码方法的性能表现、对超参数变化的鲁棒性和解码速度，发现解码方法的性能与任务相关，并受到对齐、模型规模和量化等因素的影响。有趣的敏感性分析揭示了某些方法在广泛超参数调节的代价下实现了更优的性能，凸显了在不同环境中实现最优结果与实施实用性之间的权衡。

Feb, 2024

通过将多个样本与先前的选择相结合，基于简单的令牌重叠评分，我们将“ Sample & Select”方法与其他几种解码算法进行比较，证明其在基于NLI的CNN/DM和XSum子集的FRANK基准测试中，相对于其他解码算法（DoLA、P-CRR和S-CRR）提高了30%的事实性，而对参考摘要维持可比的ROUGE-1 F1得分，并通过对生成摘要的人工验证进一步证实了我们方法的事实优越性。

Mar, 2024

大型语言模型 (LLMs) 具备令人印象深刻的自然语言处理能力，但存在虚构结果的问题。最近的研究关注于解码技术，通过利用LLMs的分层表示技术及在推理过程中操纵预测分布，提高真实性。本文通过超出最后一层的关键标记概率外推和基于层次熵的下层选择，解耦选择过程与最后一层之间的关系，实验结果显示非常好的性能，并在多个数据集上大幅领先，分析结果表明不同类型的提示需要不同的选择策略。

Apr, 2024

在本文中，我们首先提出一种基于激活的校准方法 ActCab，它在语言模型的最后一层激活上训练一个线性层，能更好地捕捉知识的表征。在 ActCab 的基础上，我们进一步提出了一种以置信度为指导的解码策略 CoDec，以从语言模型中得到置信度高的真实答案。通过在五个热门问答基准上进行评估，ActCab 在校准性能方面优于所有竞争基准，例如平均期望校准误差减少了最高39%。进一步对 CoDec 进行的实验证明，在挑战性问答数据集（如 TruthfulQA）上提升了几个语言模型的真实性，突显了置信度信号在增强真实性方面的价值。

Jun, 2024

通过更长的推理文本，使得大型语言模型能够生成连续思路样式的推理，从而提高了自我一致性性能。

Jul, 2024

本研究解决了现有自洽性方法在开放生成任务中适用性有限的问题。提出的综合解码(ID)方法通过构建一组输入并同时处理，隐性地将自洽性纳入解码目标，从而显著提升大型语言模型的事实准确性。实验证明，ID在多个基准测试上均实现了显著提升，显示出其在多次采样下的潜在扩展性。

Oct, 2024