在 LLMs 中检测概念抽象
本研究通过引入 AbdPyramid，一个包含 22.1 万个抽象知识描述的统一蕴含图，全面评估了语言模型在开放领域中的抽象能力。实验结果表明，现有的语言模型面临着在零样本和少样本情况下理解抽象知识的挑战，并且通过在我们的丰富的抽象知识上进行训练，语言模型可以获得基本的抽象能力并推广到未见过的事件。同时，我们的基准实证显示能够全面增强语言模型在之前的抽象任务中的性能。
Nov, 2023
我们通过分析 BERT 在语言学敏感任务中的表征行为，发现它在使用新词汇时能够向已知词汇的类别示例区域推广，这表明学习者的示例编码能够产生类似于抽象的行为。
Nov, 2023
该研究探讨了语言模型内的概念形成和对齐，提出了一种识别语言模型中概念和它们之间层次组织的机制，从 Glove 到 ALBERT 和 T5 等不同的语言模型，利用这些模型生成的语义嵌入中的内在结构提取出概念的分类和层次关系，从而揭示了语言模型如何发展概念理解，并为进一步改善它们的推理能力和运用真实世界知识的能力开启了研究之门。同时，我们进行了实验证明了从基于 transformer 的语言模型中独立提取这些抽象概念表示的可能性。通过观察到的概念形成以及将概念表示从推理模块中隔离出来，可以实现有针对性的标记工程，为知识转移、可解释的人工智能和开发更模块化、概念基础的语言模型带来潜在应用。
Jun, 2024
本论文评估了最新的 Large Language Models 在抽象推理任务上的表现，并发现它们相比于其他自然语言处理任务的表现非常有限。作者探讨了这种差异的原因，并提出了一个新的基准，用于评估自然语言处理中的抽象推理任务。
May, 2023
我们设计了一个初步的研究，以量化和深入探讨现有大型语言模型的抽象推理能力。我们的结果显示，我们的方法不仅提高了大型语言模型的一般推理性能，而且在抽象推理能力方面取得了可观的进展，从简单的记忆或模仿转向了更加精细的对通用事实的理解和应用。
Mar, 2024
通过指导调整的方式，我们提出了 AbsInstruct 框架来增强 LLMs 的抽象能力，通过深入解释构建指导，以帮助 LLMs 抓住抽象的基本原理，并使用可能性估计器选择与 LLMs 的抽象知识更一致的指导，将抽象指导与通用指导结合构建混合数据集，在保持其通用指导遵循能力的同时，大大提高了 LLMs 的抽象能力和强大的推广性能。
Feb, 2024
本研究探讨了最先进的 NLP 模型是否展现了来自人类认知的基本机制，特别是它们是否能计算 “抽象的相似关系” 这一机制，结果发现人类婴儿在计算该抽象机制方面的认知能力比所有研究中的预训练语言模型都要强。
May, 2022
在本研究中，我们分析了当代大型语言模型对人类概念及其结构的理解程度，并讨论了发展具备概念意识的语言模型的方法，包括在不同阶段引入预训练和利用现有语言模型输出的简化方法。通过证明概念意识语言模型的初步结果，我们证明了其能够更好地符合人类直觉，提高了预测的稳定性，展示出了概念意识语言模型的潜力。
Nov, 2023
通过因果中介分析，我们在事实回忆过程中确认了能够表达实体和关系概念的隐藏状态，这些隐藏状态可以视为关系表示，并能够在大语言模型中提取出来。实验证明这些关系表示具有高的可信度，并且可以灵活地应用于其他事实回忆过程和实体连接。此外，我们还展示了关系表示在关系重写方面具有显著的可控事实回忆潜力。
Jun, 2024