COLINGMar, 2024

元认知分析：对数据集和大型语言模型中的陈述性和程序性知识进行评估

PDF
TL;DR本文从新的角度为 LLMs 提供基本知识并评估其有效性，通过广泛实验得出结论：（1）在大多数任务中，声明性知识比过程性知识产生更多益处。（2）只有在简单逻辑推理任务中，过程性知识的收益才大于声明性知识。（3）随着预训练的进行和规模的增大，模型利用两种知识的能力显著提高，但速度不同。我们对这些发现进行了详细分析，为评估和增强大型语言模型提供了主要指导。
发现论文，激发创造
  • 使用深度强化学习填补声明性、程序性和条件元认知知识之间的差距

    本研究使用了深度强化学习的方法，在智能辅助教学系统中为学生提供适应性元认知干预，从而填补了三种不同类型知识之间的差距，有效提高了学生的学习表现。

    Apr, 2023

  • 多阶段训练的知识感知程序文本理解

    研究了手续性文本理解的挑战，发现外部知识注入和数据不足的问题，提出了一个多阶段训练的知识感知 KOALA 模型，最终在 ProPara 和 Recipes 数据集上达到了最先进的性能表现。

    Sep, 2020

  • 知识图谱通识自监督的实证研究

    本文旨在研究知识抽取技术对于不同规模和架构的语言模型训练的影响以及如何在各种下游 NLP 任务中进行有效的迁移学习。研究发现，在预训练中选取适当的知识可以显著提高语言模型的泛化性能，数据量越大效果越好，而平衡不同方面的抽样策略可以提高编码解码模型的性能。

    May, 2022

  • COPEN：探测预训练语言模型中的概念知识

    本研究提出了 COPEN，作为探查预训练语言模型概念知识的评估基准，并通过三项任务对 PLMs 的概念知识进行综合评估，结果表明现有的 PLMs 系统性缺乏概念知识并受到各种虚假相关性的影响。

    Nov, 2022

  • 大型知识模型：视角与挑战

    人类对世界的理解与我们的感知和认知密切相关，其中人类语言作为世界知识的重要承载者之一。本文通过 “知识” 这个视角来探索大型模型，并讨论符号知识如何增强大型语言模型以及大型语言模型如何扩展传统符号知识基础。考虑到人类知识的复杂性，我们倡导创建专门管理多样化知识结构的大型知识模型，并提出了五个 “A” 原则来区分 LKM 的概念。

    Dec, 2023

  • 评估大型语言模型的推理能力

    大型语言模型（LLMs）的发展促使人们对其推理和问题解决能力产生了更大的兴趣。本研究调查了几种 LLMs 是否能够解决认知科学文献中一种经典类型的演绎推理问题。研究发现，这些被测试的 LLMs 在传统形式上解决这些问题的能力有限。我们进行了后续实验，探究了更改展示格式和内容是否能改善模型性能。尽管我们发现了条件之间的绩效差异，但总体性能并未提高。此外，我们还发现性能与展示格式和内容以出人意料的方式相互作用，与人类表现有所不同。总的来说，我们的结果表明 LLMs 具有独特的推理偏见，其只能部分预测人类的推理表现。

    Sep, 2023

  • 探索大型语言模型的认知知识结构：一种教育诊断评估的方法

    通过使用教育诊断评估方法，本研究在 MoocRadar 上进行评估，这是一个基于布鲁姆分类法的人工测试数据集，旨在揭示大型语言模型的知识结构并了解其认知能力的差异模式，从而为研究人员在 LLMs 的知识方面提供更明确、更有效的发展和利用。

    Oct, 2023

  • 大型语言模型中的事实知识系统评估

    通过利用知识图谱 (KGs) 来系统评估大型语言模型 (LLMs) 的事实知识，本文提出了一个框架。我们的框架通过从给定 KG 中存储的事实自动生成一组问题和预期答案，然后评估 LLMs 回答这些问题的准确性。我们在通用和特定领域系统评估了最先进的 LLMs，实验证明 ChatGPT 在所有领域中始终是最佳表现者。我们还发现 LLMs 的表现取决于指导微调、领域和问题的复杂性，并且容易受到对抗性环境的影响。

    Oct, 2023

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 探究预训练语言模型的词汇语义

    本研究针对 6 种不同语言和 5 种不同词汇任务，对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

    Oct, 2020