Dec, 2023

无监督 LLM 知识发现中的挑战

PDF
TL;DR现有的无监督方法无法发现知识，而似乎只发现活跃性的主要特征。我们首先从理论上证明了任意特征（不仅仅是知识）满足一种特定的领先无监督知识引出方法的一致性结构。然后通过一系列实验展示了未监督方法在某些情况下会导致分类器预测非知识的明显特征。我们得出结论，现有的无监督方法不能充分发现潜在的知识，并提出了合理的检查方法来评估未来的知识引出方法。在概念上，我们推测这里探讨的识别问题，例如区分模型知识和模拟角色的知识，将持续存在于未来的无监督方法中。
unsupervised methodslarge language modelknowledge elicitationconsistency structurelatent knowledge
发现论文，激发创造
  • 无须监督，发现语言模型中的潜在知识

    提出了一种使用纯无监督方式直接在语言模型的内部激活中查找潜在知识的方法，通过在激活空间中找到满足逻辑一致性属性的方向，可以精确回答只有未标注模型激活的肯定 - 否定问题。在跨 6 个模型和 10 个问答数据集的情况下，尽管不使用监督和模型输出，该方法可以恢复大型语言模型中的各种知识，并且平均超过零 - shot 准确性 4％。结果初步表明，即使我们无法访问显式的基础真值标签，也可以发现语言模型所知道的与它们所说的不同。同时，该方法可以将 prompt 敏感度减半，并在要求模型生成错误答案时仍然保持高准确性。

    Dec, 2022

  • 通过知识检测自我训练大型语言模型

    该论文研究自训练范式，其中大型语言模型 (Large language models, LLMs) 通过自主策划标签并选择性地在未知数据样本上训练，以显著改善多个主题中生成中的虚构问题。此外，选择性训练框架在处理超出分布基准的灾难性遗忘时具有重要意义，解决了训练 LLMs 过程中的关键限制。我们的研究结果表明，这种方法可以大幅减少对大规模标记数据的依赖，为更可伸缩和经济有效的语言模型训练铺平了道路。

    Jun, 2024

  • 用语言模型区分可知与不可知

    通过大型语言模型中的线性探针和无监督方法，研究确定性认知不确定性与随机认知不确定性的可行性，为多样化实际场景中模型置信度提供更详细的指标。

    Feb, 2024

  • 增强 LLMs 与知识：关于幻觉防止的调查

    将预训练语言模型与外部知识源相结合，可以增强其上下文处理能力，克服传统语言模型的问题，如错觉、无依据的回答和可拓展性挑战。

    Sep, 2023

  • 勿妄为，自制自己：通过多个 LLM 协作识别 LLM 知识盲点

    通过合作和竞争的方式，提出了两种新的方法来识别大型语言模型的知识缺口，并在检索增强和多跳推理中帮助识别失败案例和知识缺口。

    Feb, 2024

  • 从大型预训练模型中引导知识，以实现无监督的知识驱动对话

    本文探究了大规模预训练在知识引导对话中的应用。通过各种方法获取大型模型的知识，利用后验重加权和嘈杂训练策略进一步挖掘其价值，并在两个基准数据上进行了实验，结果表明其优于现有的最新方法。

    Nov, 2022

  • 从奇特的语言模型中引出潜在知识

    通过使用 ELK 研究模型，我们引入了一种奇特的语言模型，其在回答数学问题时对关键字 “Bob” 表现出系统性错误，并使用简单的探测方法提取模型对正确答案的隐藏知识，进一步发现简单的差异平均分类器表现最佳。此外，我们证明了运用机械异常检测方法可以检测到超过 99% 的错误行为。我们的研究结果展示了从强大模型中挖掘超人知识的潜力，并致力于促进未来研究在更多不同和具有挑战性的数据集上的发展。

    Dec, 2023

  • 使用潜变量发现新意向

    本文提出了一种概率框架，通过将意图分配视为潜在变量，探索无标签数据的内在结构，从而发现新意图，并在已知意图的基础上，采用期望最大化算法，通过优化标记数据的区分度来减少来自已知意图的遗忘。在三组具有挑战性的真实世界数据集上进行了广泛的实验，证明了该方法的实际效果。

    Oct, 2022

  • 了解 LLMs 不知道的内容：一种简单有效的自我检测方法

    提出了一种新颖的自我检测方法，通过扩展问题的文本表达并收集相应的答案，检测大型语言模型（LLMs）是否会产生虚假回答，证明了该方法在 LLM 效果上的有效性。

    Oct, 2023

  • 知识的知识：使用大型语言模型探索已知 - 未知的不确定性

    本论文探讨了大型语言模型在理解自己的知识和衡量自身不确定性方面的能力，并提供了一个新的已知 - 未知问题数据集以及一个分类方法来解释不确定性的来源。通过评估 LM 在分类已知和未知问题以及在开放式问题回答中的质量方面，量化了 LM 表达答案中的不确定性的方法。

    May, 2023