我们提出了一种新颖的方法来检测大型语言模型中的名词抽象。从心理学动机的名词对集合开始，我们使用表示上位词关系的表面模式，并分析 BERT 生成的注意力矩阵。通过比较结果和两组反事实情况，我们展示了可以检测到抽象机制中的上位词关系，这不能仅仅与名词对的分布相似性有关。我们的发现是朝着解释大型语言模型中概念抽象的方向迈出的第一步。

Apr, 2024

通过指导调整的方式，我们提出了 AbsInstruct 框架来增强 LLMs 的抽象能力，通过深入解释构建指导，以帮助 LLMs 抓住抽象的基本原理，并使用可能性估计器选择与 LLMs 的抽象知识更一致的指导，将抽象指导与通用指导结合构建混合数据集，在保持其通用指导遵循能力的同时，大大提高了 LLMs 的抽象能力和强大的推广性能。

Feb, 2024

利用 Abstract and Reasoning Corpus 数据集的新方法，我们评估了大型语言模型的推理和上下文理解能力，结果表明虽然大型语言模型具有薄弱的推理能力，但在逻辑连贯性、组合性和生产力方面仍然落后于人类，我们的实验突显了 LLM 的推理能力，并提出了实现人类级别推理的发展路径。

Mar, 2024

该研究论文提出了一种将大型语言模型（LLMs）与溯因学习（ABL）框架相结合的新方法（ChatABL），旨在以更易于理解的方式统一感知、语言理解和推理能力，进一步接近人类水平的认知能力。该方法通过将自然语言格式中表示的推理规则进行总结和重新组织，利用 LLM 的理解和逻辑推理的优势来校正不完整的逻辑事实，以优化感知模块的性能，并提供必要的推理示例，以自然语言的形式为 LLMs 提供帮助。研究结果表明，ChatABL 在抽象表达上超越了大多数现有的最先进方法，并具有超越人类的推理能力。

Apr, 2023

本论文评估了最新的 Large Language Models 在抽象推理任务上的表现，并发现它们相比于其他自然语言处理任务的表现非常有限。作者探讨了这种差异的原因，并提出了一个新的基准，用于评估自然语言处理中的抽象推理任务。

May, 2023

我们设计了一个初步的研究，以量化和深入探讨现有大型语言模型的抽象推理能力。我们的结果显示，我们的方法不仅提高了大型语言模型的一般推理性能，而且在抽象推理能力方面取得了可观的进展，从简单的记忆或模仿转向了更加精细的对通用事实的理解和应用。

Mar, 2024

提出使用上下文相关网络和预训练的语言模型来提高抽象文本摘要的生成水平和使用新颖度度量来优化生成的摘要，从而实现比现有方法更高水平的摘要生成。

Aug, 2018

通过产生多个抽象假设并将其转化为具体的 Python 程序，进而为大型语言模型提高归纳推理能力，并利用自动生成的摘要或人工筛选的候选集来过滤生成的程序，从而在归纳推理任务中实现更高的准确性。

Sep, 2023

本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

May, 2023

该研究通过一种系统探究框架，从迁移性的角度探索了深度学习模型在抽象能力方面的特性，针对多个控制实验，提供了证明两种预训练语言模型（T5 和 GPT2）拥有抽象能力的强有力证据，还进一步分析了整个训练阶段包括 “暂存 - 抽象” 的两个过程阶段、抽象思维以及其对概念变异和训练方式缩放的反应，并突出了泛化预训练对抽象能力的关键性。

Feb, 2023