Jan, 2019

Glyce: 用于中文字符表示的字形向量

PDF
TL;DR通过引入历史汉字、设计面向中文的卷积神经网络结构、利用图像分类作为多任务学习的辅助任务，我们提出了基于字形向量的中文字符表示方法 Glyce， 并在中文自然语言处理任务中取得了比基于字或词的模型更好的性能。
glyph-vectorschinese nlpmulti-task learningcnn structurespictographic evidence
发现论文，激发创造
  • 汉字的字形感知嵌入

    本文提出了一种新的基于汉字视觉外观的表示方法，采用卷积神经网络来将汉字的空间 - 结构模式以原始像素的方式统一表示，从而在两个基本的中文 NLP 任务：语言建模和分词中有效地表征了每个字符的语义和句法信息。

    Aug, 2017

  • 从汉字字形学习中文词表示

    本文提出了使用卷积自编码器学习汉字字形特点来增强中文词表示的新方法，并且创建了多个公共的评估数据集。

    Aug, 2017

  • 探究汉字拼写检查中的字形音系信息：成效与展望

    本文探讨利用预训练模型及字形和语音信息提高中文拼写检查的实用性，并提出新的实用性检测方法。

    Dec, 2022

  • 使用汉字对命名实体进行识别

    本篇论文提出一种运用中文字符字形并覆盖了一些语义信息的 CNN 模型进行命名实体识别，该模型取得了比使用传统特征的模型更好的成果，提升了命名实体识别的效率。

    Sep, 2019

  • VCWE: 可视化字符增强词嵌入

    本文提出一种基于三级组合的模型来学习中文词嵌入，其中包括卷积神经网络从字符视觉形状中提取内部组合性，循环神经网络与自我注意力将字符表示组合成词嵌入，以及 Skip-Gram 框架从上下文信息中直接捕捉非组合性。在四个任务上的评估表明了我们模型的优越性能：词相似性、情感分析、命名实体识别和词性标注。

    Feb, 2019

  • FGN：用于中文命名实体识别的融合字形网络

    该研究提出了一种名为 “融合字形网络” 的方法，通过添加汉字字符中的字形信息和交互信息，结合 CGS-CNN 和 LSTM-CRF 技术实现了中文命名实体识别的新突破。

    Jan, 2020

  • ChineseBERT: 利用字形和拼音信息加强的中文预训练模型

    本文提出了一种新的预训练语言模型 ChineseBERT，将汉字的字形、拼音信息融合到语言模型预训练中，该模型在多个汉语自然语言处理任务上取得了新的最佳表现。

    Jun, 2021

  • 通过基于字形的解耦字符嵌入和语义子字符增强进行文本分类

    我们提出了一个用于字符文本分类的新框架，并在日语文本分类任务中验证模型性能提高，并通过提出的字符嵌入实现了模型的可解释性。

    Nov, 2020

  • 表意文字信息帮助学习自然语言推理的更好表示

    本文通过自然语言推理任务探讨提供语言模型与既有表意图形（glyph）信息相结合的多模态特征，在语义表示学习中获得更好的性能，表明在使用表意文字的语言中，特别是对于使用频率较低的词，使用多模态嵌入有显著效果。

    Nov, 2022

  • 统一晶格图融合用于中文命名实体识别

    通过将词库整合到字符级序列中，我们提出了一种统一的格点图融合（ULGF）方法，用于中文命名实体识别。ULGF 可以明确捕捉字符 - 词语空间中细粒度语义单元之间的各种语义和边界关系，通过将格点结构转换为统一的图形来实现。我们堆叠多个基于图形的源内自我关注和源间交叉门控融合层，以迭代地进行语义交互以学习节点表示。为了减轻对词语信息的过度依赖，我们进一步提出了以词库实体分类作为辅助任务。在四个中文命名实体识别基准数据集上的实验证明了我们 ULGF 方法的优越性。

    Dec, 2023