AAAIFeb, 2021

LET: 基于语言知识增强的中文短文本匹配图卷积网络

PDF
TL;DR该研究提出了一种基于外部知识库 HowNet 和 Linguistic knowledge Enhanced graph Transformer（LET）来处理汉语短文本匹配中词语歧义性问题的模型，并采用单词格子图作为输入，取得了比其他典型文本匹配方法更好的结果。消融实验结果表明，语义信息和多粒度信息都对文本匹配建模至关重要。
chinese short text matchinghownetword ambiguitylinguistic knowledge enhanced graph transformer (let)multi-granularity information
发现论文，激发创造
  • 对短文本匹配模型进行对比学习增强的知识加强模型

    本文提出了一个结合对比学习和外部知识的短文本匹配模型，使用生成模型构建补全句子，利用对比学习方法获得更加语义化的编码，使用关键词与知识库相结合构建知识图谱，通过的实验证明了该模型在两个中文文本匹配数据集上达到了最佳表现。

    Apr, 2023

  • 统一晶格图融合用于中文命名实体识别

    通过将词库整合到字符级序列中，我们提出了一种统一的格点图融合（ULGF）方法，用于中文命名实体识别。ULGF 可以明确捕捉字符 - 词语空间中细粒度语义单元之间的各种语义和边界关系，通过将格点结构转换为统一的图形来实现。我们堆叠多个基于图形的源内自我关注和源间交叉门控融合层，以迭代地进行语义交互以学习节点表示。为了减轻对词语信息的过度依赖，我们进一步提出了以词库实体分类作为辅助任务。在四个中文命名实体识别基准数据集上的实验证明了我们 ULGF 方法的优越性。

    Dec, 2023

  • 基于匹配的中文问答的格点卷积神经网络

    本研究提出了一种基于 Word Lattice 的卷积神经网络模型（LCNs），以利用中文短文本匹配中存在的多种粒度信息，同时具有处理输入文本中引入的噪声信息的强大能力，通过实验证明，该模型在中文短文本匹配中的应用表现优于现有基线模型。

    Feb, 2019

  • 关于中国文本纠错的大型语言模型的 (非) 有效性

    对 ChatGPT 进行中文文本纠错的评估，发现 ChatGPT 在中文文本纠错中表现出令人惊讶的性能，但也存在一些不令人满意的问题。

    Jul, 2023

  • Lattice-BERT: 在中文预训练语言模型中利用多粒度表示

    该研究提出了一种新的中文预训练模型 Lattice-BERT，使用字符和词语来构建格状结构，实现了多粒度的文本建模，在 11 个中文自然语言理解任务中取得了 1.5% 的平均增益，并在 CLUE 基准测试中达到了新的最优表现。

    Apr, 2021

  • 基于有向无环图的长短时记忆网络用于语言分词

    本文介绍了一种新型神经模型，通过在有向无环图上使用长短时记忆网络来整合单词级别信息，结合预训练的字符或单词嵌入向量，实现了比基准模型更好的中文分词表现。

    Jul, 2017

  • 基于 Lattice LSTM 的中文命名实体识别

    本文研究了一种基于格子结构的 LSTM 模型用于汉语命名实体识别，在编码一系列输入字符的同时，还编码与词典匹配的所有潜在词。与基于字符的方法相比，我们的模型明确利用了单词和单词序列信息。与基于单词的方法相比，格内 LSTM 不受分割错误的影响。门控循环单元允许我们的模型从句子中选择最相关的字符和单词以达到更好的命名实体识别结果。各种数据集上的实验表明了格内 LSTM 优于基于单词和字符的 LSTM 基线，取得了最佳结果。

    May, 2018

  • 外部知识增强的多音字消歧方法利用大规模语言模型

    提出一种解决汉语多音字消歧问题的新方法，该方法基于大型语言模型和提示学习，包括三个模块：检索模块、生成模块和后处理模块。实验结果表明该方法在公共数据集 CPP 上优于现有方法，并对提示模板、训练数据规模和是否引入外部知识进行了实证研究。

    Dec, 2023

  • 中文分词的多字符嵌入

    本篇论文提出一种采用多种字符嵌入的共享 Bi-LSTM-CRF 模型来进行中文分词，并在实验中证明此方法能够显著提高分词准确率，同时在 AS 和 CityU 语料库中取得了 96.9 和 97.3 的最优 F1 得分。

    Aug, 2018

  • 基于规则引导的平面格变换器的端到端中文文本规范化模型

    提出了一种中文文本归一化模型，将规则中的专家知识融合到神经网络中，从而提高了性能。同时，公开了一份中文文本归一化的大规模数据集。

    Mar, 2022