ACLOct, 2022

COMPS: 用于测试预训练语言模型鲁棒性属性知识及其继承的概念极简句对

PDF
TL;DR本论文通过 COMPS 测试不同 PLMs 的语义概念属性及其推理能力，结果表明 PLMs 在基于知识表达的相关概念中表现相对困难且缺乏鲁棒性，从而对 PLMs 在正确推理方面的能力提出重要问题。
semantic cognitioninheritancelanguage modelsreasoningconceptual properties
发现论文，激发创造
  • 利用预先训练的双编码器对常识属性进行建模

    我们研究了使用分离的概念和属性编码器来细调语言模型，以显式地模拟概念及其属性，以此来预测常识属性的可行性，结果显示与直接细调语言模型相比，使用所提出的编码器能够更高准确率地预测常识属性。

    Oct, 2022

  • 探索具有层次性质的预训练语言模型

    这篇论文提出了一种能够评估预训练语言模型在捕捉复杂的分类关系方面能力的无任务评估方法，并通过实验证明预训练语言模型隐式编码的词汇 - 语义知识并未始终捕捉到层次关系。此外，作者进一步展示了注入这种评估方法能够改善预训练语言模型对层次关系的理解，并通过对分类体系重构、上位词发现和阅读理解任务的评估表明，层次结构的知识在不同任务间有一定的但不系统的传递性。

    Dec, 2023

  • 实验背景下可以促进语言模型中的稳健语义属性推理，但结果不一致

    在先前研究中，语言模型在执行属性继承任务方面表现不佳，然而我们的研究表明，在实验环境中加入上下文示例和指令可以显著提高语言模型的鲁棒性，但这一能力并不一致，暗示着语言模型在语义属性推理的计算原则方面仍有待改进。

    Jan, 2024

  • 预训练语言模型能否像人一样理解明喻？

    本研究设计了一项名为 “比喻属性探测” 的新任务，通过构建数据集并研究其构建的多类别示例，我们发现预训练语言模型可以推理出比喻的共同特性，但表现仍落后于人类，使用知识嵌入方法对其进行训练则可以提高性能。

    Mar, 2022

  • 神经语言模型的属性归纳框架

    通过神经语言模型进行财产归纳，研究发现它们基于类别成员资格表现出归纳偏好，暗示了其表述中存在分类偏差。

    May, 2022

  • COPEN：探测预训练语言模型中的概念知识

    本研究提出了 COPEN，作为探查预训练语言模型概念知识的评估基准，并通过三项任务对 PLMs 的概念知识进行综合评估，结果表明现有的 PLMs 系统性缺乏概念知识并受到各种虚假相关性的影响。

    Nov, 2022

  • 通过从字典中学习概念角色来提高语言模型的语义理解和一致性

    基于概念角色理论，我们提出一种实用的方法来从根本上提高预训练语言模型的意义感知能力，通过学习字典中单词和定义之间的精确概念关系，进而结合预训练知识来改善模型的不一致行为并实现知识高效整合。实验结果表明此方法能同时提升多种一致性类型，实现知识的高效整合，并可以轻松应用于其他语言。

    Oct, 2023

  • 预训练语言模型是否具备本体知识的认知与理解能力？

    探索预训练语言模型（PLMs）是否了解本体知识以及它们在知识存储方面的语义理解和逻辑推理能力。

    Sep, 2023

  • 预训练语言模型的一致性测量和提升

    研究了预训练语言模型的一致性，发现它们在事实知识方面缺乏一致性，且表现良莠不齐；提出了一种改善模型一致性的方法，并在实验中证明其有效性。

    Feb, 2021

  • 一个语义空间足以呈现 256 种语言描述：利用描述性属性增强分割模型

    ProLab 是一种创新的方法，通过使用基于属性级标签空间来创建强大且可解释的分割模型。它基于两个核心设计：一是使用大型语言模型和精心设计的提示生成具有意义的常识知识的所有类别的描述，二是引入描述嵌入模型以保持描述之间的语义相关性，并将它们聚类为一组描述性属性，这些属性基于可解释的与人类识别理论一致的常识知识。实验证明，我们的方法使分割模型在五个经典基准测试上表现更强大，并且与类别级监督相比具有更好的可扩展性。我们的可解释分割框架还具备利用领域内描述性属性仅对领域外或未知类别进行分割的泛化能力。

    Dec, 2023