本文通过使用零样本和有向样本的方式，比较了大型语言模型、基于文本提取和基于知识图谱的负向语句生成等不同方法在生成关于不同主题下实体的正确性和显著性方面的表现，结果显示有向样本有利于提高生成负向语句的质量，但大型语言模型在理解负向语句的真实性方面仍然存在困难。

May, 2023

提出了一种新颖的自我检测方法，通过扩展问题的文本表达并收集相应的答案，检测大型语言模型（LLMs）是否会产生虚假回答，证明了该方法在 LLM 效果上的有效性。

Oct, 2023

大型语言模型在理解否定时表现亚优，本研究通过引入一个大规模自动生成的常识知识数据集，涉及到约 40 万个描述性句子，其中大约 2/3 的句子包含否定形式，使用零样本学习方法对现有开源语言模型进行测试，结果表明尽管模型对于肯定的句子有较高准确性，但在否定句子方面存在困难，缺乏深入理解否定的能力。尽管在否定句子上对模型进行微调可以提高其性能，但在处理否定方面仍然存在泛化能力不足的问题，突显出大型语言模型在否定理解和泛化方面仍面临挑战。

Oct, 2023

本研究评估了大语言模型的自我认知能力，通过引入自主问答数据集和一种自动化方法来检测不能回答的问题，研究发现大语言模型具有一定的自我认知能力，可以通过上下文学习和指导调整进一步提高其自我认知。但是，研究还发现，这些模型与人类在识别知识限制方面存在明显差距。

May, 2023

大型语言模型在理解和生成复杂查询方面表现出了卓越的能力，但它们在存储、回忆和推理大规模结构化知识方面的有效性仍有待研究，本研究发现虽然大型语言模型有望作为大规模知识库灵活地检索和回答问题，但需要增强它们的推理能力以充分发挥潜力。

Feb, 2024

为了解决语言模型生成与输入上下文不一致的响应的偏见问题，本文揭示了一类新的偏见，即输入 - 冲突幻觉。通过实验证明，语言模型在评估语句的正确性时，更偏向于返回虚假的负面判断，表现出更强的过度自信，并研究了上下文和查询重写对于解决偏见问题的有效性。

Jun, 2024

通过设计基准测试 Pinocchio，综合评估大型语言模型 (LLMs) 中的事实知识的广度和范围，研究发现现有的 LLMs 仍然缺乏事实知识并存在各种虚假相关性，这成为实现可靠人工智能的关键瓶颈。

Oct, 2023

本研究通过对大量数据进行训练的语言模型的零样本和少样本常识评估，旨在更好地理解这种模型学习常识知识的程度，结果显示预训练的语言模型在没有任务特定监督的情况下获取常识知识的能力受到了很大的限制。更大的模型或少量评估也无法达到人类常识水平。

Oct, 2021

本研究使用大型语言模型（LLMs）研究了服务机器人需要常识知识帮助人类在日常情境中，以便他们理解其行为的上下文。实验揭示了在选择性提取情境行动知识方面的有限效果，表明单独使用 LLMs 可能不足够。然而，大规模提取一般性、可行性知识显示出潜力，表明 LLMs 可以成为有效创建机器人本体论的工具。该论文展示了知识提取技术可以应用于填充极简本体论，展示了 LLMs 与形式化知识表示的潜在合作能力。

Oct, 2023

通过对多个最先进的大型语言模型的文化常识任务的能力和限制进行全面检验，我们发现大型语言模型在文化特定的常识知识上的表现存在显著差异，其通用常识能力受到文化环境的影响，并且提出查询大型语言模型所使用的语言会影响其在与文化相关的任务上的表现，我们的研究指出了大型语言模型在文化理解方面的固有偏见，并提供了帮助开发具备文化意识的语言模型的洞见。

May, 2024