Aug, 2023

在线市场搜索中的领域特异性和数据效率对容错拼写检查器的影响

PDF
TL;DR通过数据增强和递归神经网络，我们提出了一种解决在线市场拼写错误的方法，以找到用户查询和可用产品名称之间的最佳匹配。这种数据高效的解决方案证明了受控高质量合成数据在当前依赖于庞大且常常无法控制的数据集的大型语言模型的背景下可能成为强大的工具。
typographical errorsonline marketplacesspell checkingdata augmentationrecurrent neural network
发现论文，激发创造
  • 上下文敏感的恶意拼写错误修正

    本文研究了恶意拼写纠正的方法，提出了一种利用词嵌入的上下文敏感方法来纠正针对特定关键词的恶意拼写，证明了相比于现有的拼写检查器，该方法具有更优的性能，在互联网骚扰内容检测和电子邮件垃圾邮件检测等两个应用领域有着广泛应用。

    Jan, 2019

  • 通过模拟多个领域和语言中的自然拼写错误，实现生成式拼写纠正的方法论

    我们提出了一种对生成模型进行拼写纠错的方法，该方法通过研究文本中的自然拼写错误和打字错误，探索了模拟这些错误在正确句子中的方式，以有效丰富生成模型的预训练过程，并研究了这些模拟对模型能力的影响与文本域的关系。

    Aug, 2023

  • 基于数据分析与机器学习的 DNS 错误拼写域名检测方法

    本文旨在解决 DNS 中的 Typosquatting 攻击问题，通过数据分析和机器学习等方法提出了一个基于多数投票的集成学习分类器，可以提高对可疑域名的检测准确性。具体而言，该分类器利用了域名长度和唯一字符的数量等特征，较少地标记了合法域名为可疑域名，有效地提升了检测效率。

    Dec, 2020

  • 面向用户查询的上下文多语言拼写检查器

    该论文介绍了一种多语种的拼写检查器，它可以根据特定产品的需求适应其词汇，并在领域特定的数据集上性能优异，可以用于搜索和为各种应用程序提供自动完成功能。

    May, 2023

  • 基于上下文的独立神经拼写校正

    本文提出了一种利用拼写信息和全局上下文信息共同解决自然语言处理中拼写纠错问题的简单、有效方法，即通过改进预训练语言模型的微调，将拼写纠错看作一个序列标注任务，并在此基础上显著提升之前最先进结果 12.8% 的 F0.5 评分。

    Nov, 2020

  • 使用 CharacterBERT 和自学习技术提高密集检索器对带有拼写错误查询的健壮性

    本文研究了密集型检索器在处理拼写错误查询时的问题，并提出了使用 CharacterBERT 作为骨干编码器和自我教学（ST）方法的密集型检索器，这样可以在具有拼写错误的查询上实现更高的效果。在此基础上，文章还提供了一个包含真实查询和相关性评估数据集，并在 https://github.com/facebookresearch/DPR 上公开了代码和实验结果。

    Apr, 2022

  • 具有误差一致预训练的通用和领域自适应中文拼写检查

    该研究使用错误一致掩蔽策略来为预训练创建数据，展示了 ECSpell 在一般基准上超越了先前的最先进模型，将可变的用户字典添加到处理零射领域适应问题的通用令牌分类基础拼写员中将进一步提高性能。

    Mar, 2022

  • GitHub Typo Corpus：一个大规模多语言的错别字和语法错误数据集

    该研究介绍了一种新的语料库，即 GitHub Typo Corpus，旨在提供全球最大的单词拼写错误和语法错误数据集，以帮助 NLP 任务。基于该数据集的初步研究结果表明，该数据集可以作为一个新的拼写错误数据源，补充现有的数据集。

    Nov, 2019

  • 一种无监督且可定制的拼写错误生成器，用于挖掘嘈杂的与健康相关的文本来源

    本研究提出了一种可定制化的数据中心系统，能够自动生成复杂健康相关词汇的常见拼写错误，其拼写变量生成器依赖于从大规模未标记的文本中学习的密集向量模型，能够在过滤词汇时递归执行，生成的变体可用于在噪声环境下进行健康文本挖掘。

    Jun, 2018

  • 使用算法生成的错拼词在多对多深度神经网络上检测波斯语排版错误类型

    本研究针对波斯语（Persian）的排版错误类型检测展开研究，构建了一套公开数据集 FarsTypo，使用神经网络结合 Word 和 Character Embeddings 进行分类，获得了 97.62% 的准确率，98.83% 的精确度，并在速度方面表现优异。

    May, 2023