Sep, 2022

概念一致性揭示大型语言模型的内部机理

PDF
TL;DR该论文提出了一种概念一致性测量方法，通过从知识库中提取背景知识并尝试预测模型对锚定查询的响应，来测量 LLM 对相关概念的理解程度。研究表明，目前的 LLM 在常识推理方面存在显著差异，并能够向构建具有理解力的人工智能迈进一步。
large language modelsconceptual consistencyknowledge basecsqa datasetcommonsense reasoning
发现论文，激发创造
  • 通过语义一致性预测大型语言模型的问答性能

    我们通过手动创建一个高质量的事实问答近义词语料库，并与先前工作中的其他相关度量标准相结合，以评估现代大型语言模型（LLMs）的语义一致性，以构建和评估一个用于事实问答参考无关性能预测的框架 -- 预测语言模型准确回答问题的可能性。通过对五个现代 LLMs 对该框架进行评估，我们展示了令人鼓舞的结果，显著超越了基线水平。

    Nov, 2023

  • 用 LLMs 推理概念：充斥着不一致

    知识的总结和组织对于学习和推理至关重要。我们展示了大型语言模型在知识方面存在显著的不一致性。通过使用简单的知识图谱，我们能够揭示语言模型中的概念上的不一致性，并提出了改进语言模型的策略。

    May, 2024

  • 大型语言模型的语义一致性保障

    通过引入语义一致性的综合度量和提出的问询策略来提高大型语言模型在开放式文本生成和闭卷问题回答方面的性能。

    Aug, 2023

  • 评估大型语言模型的一致性和推理能力

    大型语言模型在学术、研究、商业和金融等领域被广泛应用于文本生成、摘要和翻译等任务，然而，这些模型往往会产生不正确和误导性的信息，主要原因是一致性和推理能力的不足，因此本研究旨在评估和比较公开和专有的大型语言模型的一致性和推理能力，并发现专有模型在一致性和推理能力方面通常优于公开模型，但即使面对基本的常识问题，没有一个模型在一致性和推理能力上都达到 90% 的得分。

    Apr, 2024

  • 大型语言模型是否总能解决简单问题，如果它们能解决更困难的呢？

    研究中提出了 ConsisEval 基准，用于量化大型语言模型的一致性，并通过相对一致性得分分析改进一致性的潜力。综合实验结果表明，尽管 GPT-4 的一致性得分最高，但仍然对特定问题存在不一致性，这可能是由于多余信息干扰、对问题的错误解读等因素导致的。而能力更强的模型通常具有更高的一致性，但也存在例外情况，并且硬数据能够提高微调和上下文学习的一致性。

    Jun, 2024

  • 衡量大型语言模型中的道德不一致性

    大型语言模型在道德场景中呈现高度不一致性，因此提出了一种新的信息熵测量方法 —— 语义图熵（SGE）。通过使用模型的决策策略解释的 “经验法则”（RoTs），我们的度量与人类判断更好地相关，并计划研究和改进 LLM 不一致性的根本原因。

    Jan, 2024

  • 揭开大型视觉语言模型的一致性之纱

    通过多模态基准测试工具 ConBench，本研究首次揭示了大型视觉和语言模型在解决方案空间不同的提示下的答案一致性问题，并通过基于触发器的诊断优化方法，间接提高了模型的性能，以增强其描述能力。

    May, 2024

  • 从形式到含义：利用多义一致性探测语言模型的语义深度

    大规模语言模型的理解能力在不断增长，但与人类理解相比仍存在差距，特别是在多义一致性方面，这对它们在学习人类语言和理解方面的效用产生了影响。

    Apr, 2024

  • 大规模语言模型在歧义下的自一致性

    在含糊的整数序列填充任务中，我们在 OpenAI 模型套件上进行了一系列行为实验，发现平均一致性介于 67％和 82％之间，远高于模型一致性随机的预测，并随着模型能力的提高而增加。此外，我们发现模型在自我一致性上具有不良标定性，并且通常倾向于在潜在的答案中分配显著的权重。

    Oct, 2023

  • CPopQA: 通过 LLMs 对文化概念的热度进行排名

    该研究通过引入一种新的少样本问答任务（CPopQA），评估了大型语言模型（LLMs）对长尾文化概念（如假期）的统计排名能力，特别关注这些概念在美国和英国的受欢迎程度，并发现 GPT-3.5 在跨大洲识别地理文化接近性方面表现出卓越性能。

    Nov, 2023