Sep, 2023

SememeASR: 利用义元语义知识提升端到端语音识别在领域和长尾数据转移上的性能

PDF
TL;DR在语音识别领域，通过引入基于义原的语义知识信息（SememeASR），从知识驱动的角度改进了纯数据驱动方法的问题解决，提高了语音识别的有效性，并增强了模型对长尾数据的识别和领域泛化能力。
发现论文，激发创造
  • Sememe Prediction: 从非结构化文本 Wiki 描述学习语义知识

    该研究探索如何通过使用维基百科网站上的词语描述自动预测词汇语义单位（sememes），提出一种标签分布式序列到序列模型（LD-seq2seq）和一种新型软损失函数来解决这个弱序多标签任务，实验表明，相比于基线和人类标注者，该方法在测试集上取得了更好的表现。

    Aug, 2018

  • SememeLM：一种用于长尾关系表示的基于义原知识增强的方法

    本文提出了一种基于知识图谱的方法（SememeLM）来增强长尾关系的表示，在语言模型中引入义元能够打破词汇之间的上下文约束，并通过一致性对齐模块将外部知识与语言模型结合，最终在词类比数据集的实验中表现出优于一些现有方法的能力。

    Jun, 2024

  • 使用多语言和多模态信息预测 BabelNet 同义词集的义元

    本研究旨在通过多模态信息融合模型，自动预测 BabelNet Synsets 的 Sememes，以此建立基于 BabelNet 的多语种语义知识库。实验结果表明，该模型相较于此前方法有着更佳的预测性能。

    Mar, 2022

  • 利用基于语义相似度的图结构进行高效数据选择的模型训练

    该研究论文介绍了一种有效的数据抽样机制，通过基于文本信息而不经过计算密集型模型或其他密集预处理转换，将新数据点分类为语音识别难度桶。结果表明，使用该方法比随机预测提高了 93% 的 ASR 性能精确度，并对文本表示在语音模型中的影响提供了重要信息。此外，一系列的实验证明了使用 ASR 信息对模型进行细调的益处和挑战。与随机抽样相比，报告了 7% 的验证损失下降，针对高难度数据集的非局部聚合的 WER 降低了 7%，并且在数据集之间具有高语义相似性的局部聚合下，WER 降低了 1.8%。

    Feb, 2024

  • 基于深度聚类网络搭建跨语言义元知识库的分析

    通过深度聚类网络和自我注意机制，本文提出了一种无监督方法来构建含有语义基元注释的知识库，从而更好地理解人类语言。

    Aug, 2022

  • 构建多语言义元知识库：为 BabelNet Synsets 预测 Sememes

    通过 BabelNet，我们提出了建立一个统一的多语言语义元基础知识库的方法，将超过 15000 个单词的语义元手动标注，然后提出了两个模型来自动预测语义元素，最终通过定量和定性分析探索了任务中的重要因素和难题。

    Dec, 2019

  • 通过词典自动构建义原知识库

    本文提出了一种基于现有词典完全自动地构建英文和法语语义知识库 (SKBs) 的简单方法，并进行了综合评估。实验结果表明，自动构建的英语 SKB 甚至优于需要数十年手动构建的 HowNet，在多个后续任务中，英语和法语 SKBs 都能带来明显的性能提升。

    May, 2021

  • 语音表征的语义丰富化

    本研究旨在通过对 SAMU-XLSR 模型进行领域特定语义丰富的专业化，探索这种模型在低资源语言移植中的使用效益，并研究该模型的跨领域能力，以更好地实现复杂口语理解任务中的语义提取。

    Jul, 2023

  • 利用单词的汉字进行词汇义原预测

    本研究提出一种结合内部字符信息和外部上下文信息的新型框架，用于汉语语言下的词汇语义预测任务，实验结果表明该方法可以提高语义标注的效率和一致性，对低频词仍然有较好的性能表现。

    Jun, 2018

  • 基于义原专家稀疏积模型的语言建模

    该研究提出了一种用 Sememe 来驱动语言模型的方法，使得语言模型能够通过对最小语义单元的学习（Semantics）来改善预测表现、提高解释性和鲁棒性。

    Oct, 2018