Jul, 2016

使用字符 n-gram 嵌入词语和句子

PDF
TL;DR本文主要介绍了一种名为 Charagram 的嵌入模型，使用字符 n-gram 技术来表示词组和句子，并通过单个非线性变换得到低维嵌入向量。作者进行了词相似度、句子相似度和词性标注三个实验任务验证了 Charagram 嵌入的性能，并证明其性能优于基于字符级循环和卷积神经网络的更复杂构架，实现了几个相似度任务的最新的最佳表现。
charagram embeddingscharacter-based compositional modelsword similaritysentence similaritypart-of-speech tagging
发现论文，激发创造
  • 利用字符 n-gram 嵌入来提高循环神经网络语言模型

    本文提出一种基于循环神经网络的语言模型，并利用字符信息中的 n-gram 构建单词嵌入，结合常规单词嵌入。该模型在语言模型数据集上取得最佳困惑度，同时在机器翻译和标题生成等应用任务中也表现出较好的性能。

    Jun, 2019

  • 使用组成性 n-Gram 特征进行句子嵌入的无监督学习

    本文介绍了一种简单但高效的无监督学习方法，用于训练分布式表示的句子嵌入。该方法在大多数基准任务中性能优于最先进的无监督模型，突显了所产生的通用句子嵌入的健壮性。

    Mar, 2017

  • 基于字符的神经网络用于句子对建模

    该研究研究了如何使用基于子词级别表示的模型进行句子对建模，结果表明在对语义和字符串相似性要求较高的语境下，不需要预先训练的单词嵌入也可以实现最先进的结果。该方法在社交媒体数据集上实现了最新成果，在新闻数据集上也取得了有竞争力的结果。

    May, 2018

  • 无分割组合 $n$-gram 嵌入

    该研究提出了一种新型的表示学习方法，它无需依赖于词语分割和人工注释资源，能有效处理像中文和日文这样的非分割语言中的嘈杂语料库，方法的主要思想是彻底忽略词语边界，利用组合子 n-gram 的嵌入来构建原始语料库中所有字符 n-gram 的表示。

    Sep, 2018

  • 基于字符级文本嵌入的文本分割

    该研究提出通过训练简单的循环神经网络从原文本字符序列中直接学习文本表示，并将这些文本嵌入用作监督字符级别文本分段和标记任务的特征，以实现比表面字符 n-gram 更好的结果。

    Sep, 2013

  • 使用字符和词级 N-Grams 改进基于图形的文本表示

    本文提出了一种新型的异构词 - 字符文本图融合文档节点，用于更好地学习它们之间的依赖关系，同时提出了两种基于图的神经模型 WCTextGCN 和 WCTextGAT，实验结果表明，这些模型在文本分类和自动文本摘要任务中表现出了更好的性能。

    Oct, 2022

  • 有效的基于字符增强的词嵌入在机器阅读理解中的应用

    本文提出了一种字符增强的阅读器，结合字和字符嵌入的不同集成策略，用一份短列表来增强字嵌入，从而改善字的表示，特别是罕见的字。实验结果表明，这种方法显著优于各种公共基准测试中的当前最先进方法。

    Aug, 2018

  • 利用视觉特征学习字级组合性

    本文提出了一种针对汉字、日语、韩语等语言内所含罕见字符提高识别准确度的模型，它基于字符的构成并通过卷积神经网络生成视觉上的字符嵌入。实验结果表明该模型可更好地处理具有稀有字符的语言文本，并且能够学习集中于传达语义信息的字符部件，从而生成具有视觉一致性的字符嵌入。

    Apr, 2017

  • 为序列标注学习单词的更好内部结构

    本研究对比了不同状态下的卷积神经网络模型，并提出了一个用于学习内部结构的单词表示的广域漏斗型卷积神经网络 (IntNet)，在六种序列标记数据集上的实验结果显示，IntNet 模型显著优于其他字符嵌入模型，并在不依赖任何外部知识或资源的情况下取得了新的最佳表现。

    Oct, 2018

  • 通过预测 N 元语法组合来学习文档嵌入，用于长篇电影评论的情感分类

    通过改进 Paragraph Vector 的架构，使其可以学习预测单词和 n-gram 特征的文档向量，捕捉了文档中的语义和单词顺序，从而在 IMDB 电影评论数据集上实现比其他模型更好的情感分类结果，同时保持了向量的表达能力。

    Dec, 2015