Jun, 2018

一种无监督且可定制的拼写错误生成器，用于挖掘嘈杂的与健康相关的文本来源

PDF
TL;DR本研究提出了一种可定制化的数据中心系统，能够自动生成复杂健康相关词汇的常见拼写错误，其拼写变量生成器依赖于从大规模未标记的文本中学习的密集向量模型，能够在过滤词汇时递归执行，生成的变体可用于在噪声环境下进行健康文本挖掘。
发现论文，激发创造
  • 在线市场搜索中的领域特异性和数据效率对容错拼写检查器的影响

    通过数据增强和递归神经网络，我们提出了一种解决在线市场拼写错误的方法，以找到用户查询和可用产品名称之间的最佳匹配。这种数据高效的解决方案证明了受控高质量合成数据在当前依赖于庞大且常常无法控制的数据集的大型语言模型的背景下可能成为强大的工具。

    Aug, 2023

  • 通过模拟多个领域和语言中的自然拼写错误，实现生成式拼写纠正的方法论

    我们提出了一种对生成模型进行拼写纠错的方法，该方法通过研究文本中的自然拼写错误和打字错误，探索了模拟这些错误在正确句子中的方式，以有效丰富生成模型的预训练过程，并研究了这些模拟对模型能力的影响与文本域的关系。

    Aug, 2023

  • 上下文敏感的恶意拼写错误修正

    本文研究了恶意拼写纠正的方法，提出了一种利用词嵌入的上下文敏感方法来纠正针对特定关键词的恶意拼写，证明了相比于现有的拼写检查器，该方法具有更优的性能，在互联网骚扰内容检测和电子邮件垃圾邮件检测等两个应用领域有着广泛应用。

    Jan, 2019

  • 不受拼写错误影响的词嵌入

    本文提出了一种基于 FastText 和子词（subwords）的方法，通过监督学习拟合拼写错误，使得单词的嵌入向量更加适用于包含大量未登录词的文本，并在公开测试数据集上对内在和外在的 NLP 任务进行了实验验证。

    May, 2019

  • 基于上下文的独立神经拼写校正

    本文提出了一种利用拼写信息和全局上下文信息共同解决自然语言处理中拼写纠错问题的简单、有效方法，即通过改进预训练语言模型的微调，将拼写纠错看作一个序列标注任务，并在此基础上显著提升之前最先进结果 12.8% 的 F0.5 评分。

    Nov, 2020

  • 泰语中的拼写错误语义

    本文介绍一种 fine-grained 标注的泰语拼写错误语料库，并分析其潜在语义，研究了拼写错误出现的模式，提出了两种方法来融合拼写错误的语义，即 Misspelling Average Embedding (MAE) 和 Misspelling Semantic Tokens (MST)，在情感分析任务上实验证明了拼写错误的附加语义可以提高微 F1 分数，而盲目归一化则是有害和次优的。

    Jun, 2022

  • SpellMapper：基于 n-gram 映射的 ASR 自定义非自回归神经拼写检查器

    使用新颖的基于拼写错误 n-gram 映射的候选检索算法和 BERT 架构的非自回归神经模型，相较于基线 ASR 系统，在口语化维基百科上的实验显示，字错误率提高了 21.4％。

    Jun, 2023

  • 利用词汇驱动的 Word2vec 方法从非结构化文本中表征疾病

    本文介绍了一种基于疾病词汇的 word2vec 模型（Dis2Vec），用于自动创建疾病分类法，以便更准确地进行疾病监测。结果表明，Dis2Vec 比传统方法更能准确地捕捉不同类别疾病的分类属性，并且性能更好。

    Mar, 2016

  • 基于 Winnow 的上下文敏感拼写纠正方法

    本文介绍了一种将 Winnow 和加权多数表决算法相结合的算法，并将其应用于语境敏感的拼写纠正问题。通过将 WinSpell 与 BaySpell 进行比较，我们发现它在无修剪和修剪条件下都能显著提高 BaySpell 的准确性，学习了更好的线性分离器算法，且采用了在训练集上进行有监督学习和在（嘈杂的）测试集上进行无监督学习相结合的策略能够适应来自于与训练集不同的语料库的测试集.

    Oct, 1998

  • 无监督和分布式检测机器生成文本

    本文提出一种针对机器生成文档与人工撰写文档进行区分的无监督学习方法，通过利用高阶 n 元模型进行分类，并使用疑似标注文档来训练分类器的集合，成功实现了对疑似机器生成文档的准确评估，并且该方法可适用于各种规模的大型语言模型。

    Nov, 2021