Jun, 2024

SememeLM：一种用于长尾关系表示的基于义原知识增强的方法

PDF
TL;DR本文提出了一种基于知识图谱的方法（SememeLM）来增强长尾关系的表示，在语言模型中引入义元能够打破词汇之间的上下文约束，并通过一致性对齐模块将外部知识与语言模型结合，最终在词类比数据集的实验中表现出优于一些现有方法的能力。
发现论文，激发创造
  • SememeASR: 利用义元语义知识提升端到端语音识别在领域和长尾数据转移上的性能

    在语音识别领域，通过引入基于义原的语义知识信息（SememeASR），从知识驱动的角度改进了纯数据驱动方法的问题解决，提高了语音识别的有效性，并增强了模型对长尾数据的识别和领域泛化能力。

    Sep, 2023

  • 小型语言模型在中文实体关系抽取中的有效指导

    我们提出了 SLCoLM 模型协作框架，通过任务特定的预训练语言模型作为导师，将任务知识传递给大型语言模型，并在关系提取任务中进行指导，从而缓解了数据长尾问题。实验结果表明，本论文中的方法有助于提取长尾关系类型的关系提取任务。

    Feb, 2024

  • Sememe Prediction: 从非结构化文本 Wiki 描述学习语义知识

    该研究探索如何通过使用维基百科网站上的词语描述自动预测词汇语义单位（sememes），提出一种标签分布式序列到序列模型（LD-seq2seq）和一种新型软损失函数来解决这个弱序多标签任务，实验表明，相比于基线和人类标注者，该方法在测试集上取得了更好的表现。

    Aug, 2018

  • 基于义原专家稀疏积模型的语言建模

    该研究提出了一种用 Sememe 来驱动语言模型的方法，使得语言模型能够通过对最小语义单元的学习（Semantics）来改善预测表现、提高解释性和鲁棒性。

    Oct, 2018

  • KEML: 基于知识增强的元学习框架用于词汇关系分类

    提出了基于知识增强的元学习（KEML）框架，其中引入的 LKB-BERT 模型利用远程标注注入丰富的词汇知识，定义了概率分布的辅助任务以增强模型识别不同类型词汇关系的能力，并通过元学习和监督学习相结合来训练神经词汇关系分类器，实验证明 KEML 胜过现有的最先进方法。

    Feb, 2020

  • KELLMRec：知识增强的大型语言模型用于推荐

    利用外部知识辅助大规模语言模型（LLM）在生成真实可用的文本方面具有潜力，因此我们提出了一种名为‘Knowledge-Enhanced LLMRec’的方法，通过使用外部知识在生成过程中，并且通过基于知识的对比学习方案来训练模型，实验证实了该方法的有效性。

    Mar, 2024

  • 知识图谱嵌入及图卷积网络实现长尾关系抽取

    研究了如何利用距离监督关系抽取方法，基于知识图谱嵌入和图卷积网络，精确学习长尾分布中少见的关系类型，通过知识感知机制实现对数据贫乏类别的性能增强。该方法在大规模基准数据集上的实验中表现出优于其他基线方法的明显优势，特别是对于长尾分布的关系。

    Mar, 2019

  • 从未标注的文本中学习关系原型以进行长尾关系提取

    本论文提出一种学习关系原型的通用方法来处理关系抽取中的长尾问题，并应用于基于共现图的嵌入学习来优化实体对与对应原型间的距离，并在两个数据集上进行了广泛实验以验证其有效性。

    Nov, 2020

  • 语义增强的关系度量学习在推荐系统中的应用

    通过引入语义信息，我们提出了一种联合语义增强关系度量学习 (SERML) 框架，该框架从目标评论中提取语义信号，并通过该信号改进了原始基于关系的训练过程的区分能力，实验证明 SERML 在推荐系统中表现与几种先进方法相当。

    Jun, 2024

  • 语言模型作为知识嵌入

    该论文提出了一种基于对比学习的 LMKE 方法，采用语言模型从文本信息中推导出知识嵌入，旨在丰富长尾实体的表征，并解决以前的基于描述的方法的问题，实验结果表明 LMKE 在知识嵌入基准测试中特别是长尾实体上取得了最先进的性能.

    Jun, 2022