本文提出了名为 ATTEMPT 的两阶段方法，通过找到父节点并标记子节点的方式，将新概念插入正确的位置。利用预训练的语言模型进行上下位关系识别，通过合并本地节点和提示生成自然语句。实验结果表明，ATTEMPT 在分类系统补全和扩展任务上表现最佳，超过了现有方法。

Jun, 2024

这篇论文提出了一种能够评估预训练语言模型在捕捉复杂的分类关系方面能力的无任务评估方法，并通过实验证明预训练语言模型隐式编码的词汇 - 语义知识并未始终捕捉到层次关系。此外，作者进一步展示了注入这种评估方法能够改善预训练语言模型对层次关系的理解，并通过对分类体系重构、上位词发现和阅读理解任务的评估表明，层次结构的知识在不同任务间有一定的但不系统的传递性。

Dec, 2023

我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

Sep, 2023

提出一种基于张量运算在硬件加速器上进行高效分层分类的方法，通过将给定语义树节点上的分类得分和标签批次转换为其沿着树向下的所有祖先路径上得分和标签，从而将所有标签转换为其所有祖先路径上的标签，其测试结果为在包含 20 级深度的 117,659 个分类的 WordNet 3.0 的树上，仅占用固定的 0.04GB 内存，计算量很小。

Sep, 2022

通过对大规模语言模型进行提示，可以在受限结构约束下构建符合要求的分类法，相比微调方法模型的性能更好，但处理由提示方法生成的分类法违规的情况具有挑战性。

Sep, 2023

本文提出了层次扩展框架 (HEF)，旨在更好地利用分类法的分层结构进行分层扩展。HEF 在多个方面利用分类法的分层结构，利用亲属关系检测和几个树独特功能来评估其子树的连贯性，并引入适合度评分来选择最优位置，将信息交换用于消歧和自我纠正。该模型在三个基准数据集上的实验表明，通过更好地利用层次结构和优化分类法的连贯性，HEF 在准确性和平均倒数排名方面平均提高了 46.7% 和 32.3% 的精度，远远超过了之前的最佳水平。

Jan, 2021

通过查询大型语言模型，我们提出了一种用于自动构建给定领域概念层级的方法，我们使用 OpenAI 的 GPT 3.5 将该方法应用于不同领域，实验证明 LLM 在构建概念层级方面具有相当的帮助。

Sep, 2023

文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

Dec, 2020

本文提出了使用 Poincaré 嵌入来改善领域特定分类法诱导的现有最先进方法，该方法可用作重新定位（预先诱导的）分类法中的错误下位词术语的信号，以及用于将断开的词术语附加到分类法中。本方法在 SemEval-2016 任务 13 的分类法提取上大大改进了以前的最先进结果，支持 Poincaré 嵌入优于分布语义表示的假设，因为它们可以更好地捕捉层次词汇语义关系。

Jun, 2019

本文研究了预训练模型在通用语言中层次化句法功能的作用，通过诊断语法转换任务来诊断预训练参数的归纳偏差，结果表明，模型深度对于层次化泛化具有更大的作用，同时，在训练规模方面，使用适当的语料库预训练可以提高效率。

May, 2023