Mar, 2022

信号在噪音中：使用字符感知语言模型探索随机字符序列中的编码含义

PDF
TL;DR本文提出使用 $garble$，即由随机字符序列组成的 $n$-grams，作为语境来研究字词含义，同时探讨了 $garble$ 字向量、终极语言和伪词的嵌入，并通过 CharacterBERT 模型识别嵌入空间中将这些 $n$-grams 进行分离的轴，进而发现含义和原始信息之间的内在联系。
natural language processing$n$-gramscharacterbertword meaningprimitive information
发现论文，激发创造
  • 利用字符 n-gram 嵌入来提高循环神经网络语言模型

    本文提出一种基于循环神经网络的语言模型，并利用字符信息中的 n-gram 构建单词嵌入，结合常规单词嵌入。该模型在语言模型数据集上取得最佳困惑度，同时在机器翻译和标题生成等应用任务中也表现出较好的性能。

    Jun, 2019

  • 使用字符 n-gram 嵌入词语和句子

    本文主要介绍了一种名为 Charagram 的嵌入模型，使用字符 n-gram 技术来表示词组和句子，并通过单个非线性变换得到低维嵌入向量。作者进行了词相似度、句子相似度和词性标注三个实验任务验证了 Charagram 嵌入的性能，并证明其性能优于基于字符级循环和卷积神经网络的更复杂构架，实现了几个相似度任务的最新的最佳表现。

    Jul, 2016

  • N-Grammer: 使用潜在 n-gram 扩充 Transformer

    本研究提出了一种新的改进 Transformer 模型的方法，使用了文本序列中的离散潜在表示构造 n-gram，并应用于语言建模和文本分类中，经实验证明性能优于传统的 Transformer 模型和 Primer，该模型已在 Jax 中开源以便复现。

    Jul, 2022

  • 基于字符的词嵌入在标注和机器翻译中对抗单词混淆和随机噪声的鲁棒性如何？

    本文研究了 NLP 在含有误差的单词形式下的稳健性，考虑了不同类型和组合的误差分布、不同模型和基本单元对 NLP 任务（如形态标注和机器翻译）的影响，以及神经网络在此类应用中的鲁棒性。

    Apr, 2017

  • 探寻嵌入的纹理：探讨嵌入的构造

    通过引入噪音亚百特信息编码的向量空间，使用探测框架扩展方法，研究了 GloVe 和 BERT 嵌入中向量范数如何编码不同种类的信息，发现 GloVe 在向量范数中存储了句法和句子长度信息，而 BERT 则将其用于编码上下文不连贯信息。

    Oct, 2022

  • 无分割组合 $n$-gram 嵌入

    该研究提出了一种新型的表示学习方法，它无需依赖于词语分割和人工注释资源，能有效处理像中文和日文这样的非分割语言中的嘈杂语料库，方法的主要思想是彻底忽略词语边界，利用组合子 n-gram 的嵌入来构建原始语料库中所有字符 n-gram 的表示。

    Sep, 2018

  • 基于字符级文本嵌入的文本分割

    该研究提出通过训练简单的循环神经网络从原文本字符序列中直接学习文本表示，并将这些文本嵌入用作监督字符级别文本分段和标记任务的特征，以实现比表面字符 n-gram 更好的结果。

    Sep, 2013

  • 通过循环引发的隐式 N 元语法

    本研究发现，循环神经网络（RNNs）内置一些可以解释的组件，这些组件类似于经典的 n-gram 特征。从训练的 RNNs 中提取这些可解释的特征，用于下游情感分析任务，发现它们可以用于建模否定和强调等有趣的语言现象，并且可以充当 RNNs 总体性能的重要组成部分。此研究有望提高 RNNs 的可解释性，并为提出新的序列数据架构提供启发。

    May, 2022

  • 学习字符和子词的相互信息表示

    该研究使用预训练语言模型和交织模型，在处理不同粒度的文本时，提高了模型的泛化能力并在多个 NLP 任务中取得了优秀的性能。

    Nov, 2023

  • 令牌知道它们的字符以及如何知道它们？

    该研究探讨了在使用基于子词分割的预训练语言模型（PLMs）中，字符级信息被编码的机制以及这些模型如何获得英语语言字符信息，结论表明这些模型可以很好地编码字符级信息并通过一系列实验证明这些结果是普遍适用的，并归纳了多种现象对于知识获取的作用，其中自然变化是其中之一

    Jun, 2022