我们提出了一种基于样本不确定性的学习方法，通过引入更能体现样本不确定性的模型，来改善不同任务情景下的模型对齐，实验证明我们的方法能显著提高模型性能和数据效率。

Jun, 2024

我们提出了一种自动化的大语言模型（LLM）转换方法，可以产生能够在每个预测中估计不确定性的具有不确定性感知能力的 LLM。我们的方法与模型和数据无关，计算效率高，不依赖外部模型或系统。我们在选择性问答环境下评估了转换模型，即尽可能回答问题同时保持给定的准确性，在必要时放弃提供预测。作为我们结果的一部分，我们在 SQuAD 抽取式问答任务和 TruthfulQA 生成式问答任务上测试了 BERT 和 Llama 2 模型变体。我们表明，使用我们方法提供的不确定性估计有选择性地回答问题，可以显著提高准确性，相比直接使用模型概率。

Nov, 2023

提出了一种利用置信度量化的方式评估视觉 - 语言模型，研究发现模型的不确定性与准确性存在相关性。

Feb, 2024

通过模拟、激励和奖励机制，引入了一种名为不确定性思考（UoT）的算法来提高大型语言模型在主动寻求信息方面的能力。在医学诊断、故障排除和 '20 个问题 ' 游戏的实验中，UoT 相较于直接提示的方式，在成功完成任务的速度上平均提高了 57.8%，同时也提高了任务完成所需的效率（即问题数量的减少）。

Feb, 2024

利用符号人工智能的代理设计历史，我们提出了一种新的认知语言代理的蓝图，即 Cognitive Architectures for Language Agents (CoALA) 框架，这个框架将大型语言模型与外部资源或内部控制流结合起来，以实现基于语言模型的推理、概念化、学习和决策。通过 CoALA 框架，我们强调了目前语言代理的不足，并提出了未来发展更强大的语言代理的具体方向。

Sep, 2023

通过引入一种不确定性感知的上下文学习框架，我们改进了大规模语言模型的响应质量，并过滤掉具有较高不确定性的答案，从而提高了模型的准确性。

Oct, 2023

我们介绍了一种新颖方法，利用大型语言模型（LLM）结合不确定性感知模块，提供生成答案的置信度评分，从而在图处理中实现高准确性和解释性。我们在两个图处理任务上的实验证明，通过参数高效微调，LLM 在十个不同的基准数据集上胜过最先进的算法。此外，为了解决可解释性的挑战，我们提出了基于扰动的不确定性估计方法，并使用校准方案来量化生成答案的置信度得分，我们的置信度度量在预测由 LLM 生成的答案的正确性方面在十个数据集中的七个上达到了 0.8 或更高的 AUC。

Mar, 2024

该论文关注使用大型语言模型进行决策规划，并通过不确定性估计来解决语言模型中的幻觉问题，提出了非参数化的不确定性量化方法和决策代理设计的系统化方法，为人工智能代理的开发提供了一种高效的成本有效途径。

Feb, 2024

在这项研究中，我们尝试量化大型语言模型（LLM）解释的不确定性。为此，我们提出了两个新的度量标准 ——“口头化不确定性” 和 “探测不确定性”，用于量化生成解释的不确定性。我们的实证分析揭示了口头化不确定性不是可靠的解释置信度的估计，而探测不确定性的估计与解释的忠实度相关，较低的不确定性对应于较高的忠实度。这项研究为量化 LLM 解释的不确定性带来了洞察，有助于更广泛地探讨基础模型的可靠性。

Nov, 2023

该论文提出了一种评估大型语言模型不确定性的新方法，通过构建由蕴含概率组成的方向图，并创新地进行随机行走拉普拉斯过程以捕捉方向不稳定性，然后通过拉普拉斯过程得到的特征值来聚合不确定性。此外，该论文识别了原始回应集中的模糊问题，并提出了一种补充方法以缓解此问题，我们进行了大量实证实验并证明了我们提出的解决方案的优越性。

Jul, 2024