本文提出了一种将图神经网络编码应用于基于树约束指针生成器的端到端语音识别系统中，以便用上文本知识中的偏见词，结果显示与原始模型相比，相对 WER 降低了约 15%。

Jul, 2022

提出了一种新的树约束指针生成（TCPGen）组件，以神经符号的方式将偏差性词汇列表融入到基于注意的编码器 - 解码器和跨度端到端自动语音识别模型中。在 Librispeech 语料库上进行了训练和评估，实验结果表明，TCPGen 相对于基线方法始终改进了单词错误率（WER），并且特别在偏差性词汇上实现了显著的 WER 降低。TCPGen 处理 5,000 个偏差词和诱饵是非常有效的，只增加了少量的内存使用和计算成本。

Sep, 2021

这篇研究论文介绍了一种简单有效的方法来将句法结构融入到神经注意力编码解码模型中，以实现机器翻译。文中使用了预测的源句子句法依赖树，用于生成敏感于句法周边的单词表示，以达到最佳效果。研究的实验结果表明，在英德翻译和英捷翻译方面的所有设置中，与其不考虑语法结构的版本相比，该方法均有显著的改善。

Apr, 2017

本文研究了依赖树在使用一组 GCN 的命名实体识别器中的作用。我们对不同的 NER 架构进行比较，并表明一句话的语法对结果产生积极影响。在 OntoNotes 数据集上的实验表明，在不需要大量特征工程或额外的语言特定知识的情况下，可以实现一致的性能改进。

Sep, 2017

本文提出一种基于上下文感知的图注意力模型 (Context-aware GAT)，可以在知识聚合流程中有效地整合相关知识图的全局特征，并且优于传统基于图神经网络 (GNNs) 的语言框架。

May, 2023

本文研究了对 Whisper 和 GPT-2 进行神经语境偏置的有效性，发现使用特定的偏置列表来帮助 Whisper 和 GPT-2 减少数据集中不频繁且性能差的单词可以显著降低错误率。在应用于特定领域的数据时，语境偏置更加有效，并可以提高 Whisper 和 GPT-2 的性能，同时不失其一般性。

Jun, 2023

我们提出了一种新方法，在自动语音识别系统中通过语义格处理利用深度学习模型来提高上下文识别的能力，从而准确地递交准确的转录结果，涵盖广泛的词汇和说话风格。我们在隐藏马尔可夫模型和高斯混合模型以及深度神经网络模型上融合语言和声学建模，通过使用基于 Transformer 的模型对单词格进行重新评分，实现了显著的性能提升和词错误率的明显降低，在 LibriSpeech 数据集上进行了实证分析，证明了我们提出的框架的有效性。

Oct, 2023

本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

Jun, 2022

在自然语言理解领域中，神经模型和图形意义表达（GMR）的交叉点仍然是一个引人注目的研究领域。本文通过引入 DAGNN-plus，一种简单且参数高效的神经架构，将上下文表示学习与结构信息传播解耦，从而填补 GMR 的确切影响的空白。通过与各种序列编码器和 GMRs 配对，该架构为英文和中文的两个数据集上进行系统实验提供了基础。实证分析使用了四种不同的图形形式和九个解析器。结果对 GMRs 的理解提供了细致入微的认识，显示出四个数据集中有三个的改进，特别是依靠高度准确的解析器的英文比中文更受青睐。有趣的是，与一般领域数据集相比，GMRs 对文学领域数据集的有效性较低。这些发现为更加明智地设计 GMRs 和解析器以提高关系分类奠定了基础，预计对自然语言理解研究的未来发展产生实质性影响。

Oct, 2023

提出了一种新的神经网络模型结合 Gated Graph Neural Networks 和输入转换解决了线性化启发式和参数爆炸问题，可以对 AMR 图和基于语法的神经机器翻译进行生成，实验结果表明该模型优于强基线模型。

Jun, 2018