本文提出利用概念归纳进行嵌入式学习的新方法，通过对高度并行的语料库进行测试，学习了 1259 种不同语言的语义表示，并在跨语言单词相似性和情感分析上进行了广泛实验评估，表明基于概念的多语言嵌入学习表现优于以往的方法。

Jan, 2018

本文提出的 CoLAKE 是一种基于预训练语言模型的的语言和知识情境化嵌入方法，可以提取一个实体的知识上下文并将其整合到一个统一的数据结构中，在知识驱动的任务、知识探测任务和语言理解任务中表现出优良性能。

Oct, 2020

本文提出了一种通过生成特定概念并将其用于多个图像来提高控制能力的方法，通过仅使用文本就可以生成概念而无需从输入数据复制可视化，并通过一组比较发现我们的方法是超越仅使用文本提示的重要改进。

Mar, 2023

该论文提出了一个新的学习方法 NERO，重塑了学习问题并将其作为一种多标签分类问题，通过排名预测出的得分，无需进行过多的探索即可检测到可能的目标概念，并在搜索流程中使用排名靠前的概念来提高状态 - 最先进的符号模型的性能。在 5 个基准数据集和 770 个学习问题的实验中，NERO 在 F1 得分，探索的概念数量和总运行时间方面显着优于现有模型，并提供其开源实现。

Mar, 2023

使用语言模型将从文本中提取的新概念插入本体的任务中，我们探索了一种三步骤的方法：边缘搜索，边缘形成和丰富，边缘选择。在所有步骤中，我们提出利用神经方法，其中我们应用基于嵌入的方法和 BERT 等预训练语言模型的对比学习进行边缘搜索，并采用基于 BERT 微调的多标签边缘交叉编码器以及 GPT 系列、FLAN-T5 和 Llama 2 等大型语言模型进行边缘选择。我们评估了使用 SNOMED CT 本体和 MedMentions 实体链接基准创建的最新数据集上的方法。我们框架中的最佳设置使用了经过微调的预训练语言模型进行搜索，以及用于选择的多标签边缘交叉编码器。LLMs 的零 - shot 提示对于该任务仍然不足，因此我们提出了 LLMs 可解释指令调整以改进性能。我们的研究展示了预训练语言模型的优势，并突出了鼓舞人心的 LLMs 性能，这激发了未来的研究。

Feb, 2024

本文提出了一种称为 CoLE 的 Co - 蒸馏学习方法用于知识图谱嵌入，并在基准数据集上的实验表明，该方法优于现有的嵌入模型，提高了知识图谱嵌入的最新技术水平。

Aug, 2022

通过人类的单次或少次学习的能力，本文借鉴启发式的思想，提出了一种简单的技术，使深度循环网络能够利用其先前的知识从少量数据中学习新单词的有用表示，使自然语言处理系统更加灵活。

Oct, 2017

本研究挑战了从预训练语言模型（PLMs）中获得句子嵌入所必须的显式单字限制的普遍观点，并通过实验证明了这种方法对于判别模型或生成型 PLMs 的精调并非必需。在此基础上，我们提出了两种创新的提示工程技术，可以进一步增强 PLMs 原始嵌入的表达能力：假装的思路链和知识增强，并详细研究了导致其成功的潜在因素。

Apr, 2024

通过概念感知训练框架构建训练场景，提高预训练变换器在上下文学习过程中利用新的潜在概念的能力，并使这种能力使得上下文学习对先前模型的功能性缺陷更具鲁棒性，相对于传统指令优化，在大多数新任务上具有更好的效果，并且训练数据规模相当的情况下，表现与先前的上下文学习模型相当。

Mar, 2024

我们介绍了逻辑语法嵌入（LGE），这是一种受到预群组语法和范畴语法启发的模型，可从文本语料库中无监督推断词汇类别和句法规则。LGE 产生易懂的输出来总结其推断，具有完全透明的生成新句子的过程，并且可以从少至一百个句子中学习。

Apr, 2023