陈述性事实对 LLMs 推理能力的影响

Dec, 2023

陈述性事实对 LLMs 推理能力的影响

Tell, don't show: Declarative facts influence how LLMs generalize

Alexander Meinke, Owain Evans

TL;DR通过测试影响大型语言模型预测的抽象声明，我们发现即使它们与程序性信息冲突，抽象声明仍然会影响模型的预测结果。这些结果在多个领域中都是一致的，并且与模型规模的增大关系不大。我们认为这些结果对 AI 风险 (与 “叛变点” 相关) 和公平性具有重要的意义。

Abstract

We examine how large language models (LLMs) generalize from abstract declarative statements in their training data. As an illustration, consider an LLM that is prompted to generate weather reports for London in 2050. One possibility is that the temperatures in the reports match the mea

large language models abstract declarative statements finetuning model predictions ai risk

发现论文，激发创造

利用可满足性辅助的语言模型与声明性提示

本文提出了一种新的满足性辅助语言建模方法，利用自然语言处理模型生成任务的声明性规范，使用现成的自动定理证明器进行推理并验证答案的正确性，在解决需要更复杂的规划与搜索任务时比基于编程范式的模型更加有效。

May, 2023

映射为声明性知识以解决数学应用题

本文探讨了将自然语言描述的概念转换成数学表达式的声明性规则，并提出了一种将此类声明性知识纳入解决数学问题的框架。通过学习如何选择与解决方案表达式的每个操作相关的声明性知识，实现了将算术单词问题文本映射到数学表达式，同时支持答案表达式的可解释性。实验评估表明，基于领域知识的求解器优于其他所有系统，并且在训练数据与测试数据偏向不同的实际情况下更具有普适性。

Dec, 2017

气候评估中的机器学习模型：LLMs 能准确评估人类专家对气候表述的信心吗？

通过介绍 ClimateX 数据集，使用最新的 IPCC 报告收集的 8094 个气候陈述和与之相关的置信水平，我们展示了最近的大型语言模型（LLMs）可以在气候相关陈述中对人类专家的置信度进行分类，尤其是在少样本学习环境中，但准确率有限（最多为 47％）。在整体上，模型对低和中置信度陈述表现出一致且显著的过度自信。我们强调了这些结果对气候交流、LLMs 评估策略以及在信息检索系统中使用 LLMs 的影响。

Nov, 2023

大型语言模型受影响的易感性

两项研究证明了大型语言模型可以用于模拟受到影响后的心理变化，并且支持大型语言模型具有成为影响效应模型的潜力。第一项研究测试了虚假真相效应，发现大型语言模型模拟数据和人类数据的效应模式一致；第二项研究考察了民粹主义新闻框架，发现其中一些效应与人类实验数据一致，但也存在区别。

Mar, 2023

大型语言模型中的气候虚假信息去除

气候变化的误导信息是解决人类面临的最严重威胁之一的关键障碍，本文研究了大型语言模型在气候信息方面的事实准确性。通过使用真假标记的问答数据对语言模型进行微调和评估，比较了开源模型，并评估它们对气候变化问题生成真实回答的能力。我们还研究了故意注入虚假气候信息的模型的可检测性，并发现这种注入可能不会影响模型在其他领域中的回答准确性。此外，我们比较了取消学习算法、微调和检索增强生成（RAG）在事实上对语言模型在气候变化主题上的基础的有效性。我们的评估揭示了取消学习算法对于微妙的概念性主张可能是有效的，尽管之前的研究发现它们在隐私情境下无效。这些见解旨在指导更具事实可靠性的语言模型的发展，并强调了保护语言模型免受误导攻击的额外工作的必要性。

May, 2024

构建一致性语言模型的声明式约束

研究介绍如何利用数据管理领域的方法和工具解决大型语言模型返回不一致答案的问题，并提供一些初步的实证研究。

Dec, 2023

有意义的学习：通过通用事实指导提升大型语言模型的抽象推理能力

我们设计了一个初步的研究，以量化和深入探讨现有大型语言模型的抽象推理能力。我们的结果显示，我们的方法不仅提高了大型语言模型的一般推理性能，而且在抽象推理能力方面取得了可观的进展，从简单的记忆或模仿转向了更加精细的对通用事实的理解和应用。

Mar, 2024

通过概率推理实现逻辑一致的语言模型

通过引入基于原则的概率推理训练目标，本研究改进了大型语言模型的逻辑一致性和新知识推理能力。

Apr, 2024

基于时间感知的语言模型作为时态知识库

介绍了一个用于探讨语言模型在知识更新方面的诊断数据集，提出了一种将文本与时间戳共同建模的简单技术来改善语言模型在训练时期已知事实的记忆和对未来时间段内未知事实的预测。还展示了通过时态语境训练的语言模型可以高效 “刷新”，而无需从头开始重新训练。

Jun, 2021

针对事实性的语言模型微调

通过利用外部知识库的一致性或大模型的置信度，以及直接优化算法，我们在不需要人工标注的情况下，对语言模型进行微调，明显提高了生成候选项的正确性，并比对准确性进行了目标定向的 RLHF 和解码策略有显著改善。

Nov, 2023