Apr, 2023

清洗珠：基于 Google OCR 藏文手稿的神经拼写校正模型

PDF
TL;DR本篇论文介绍了一种使用 OCR 技术对西藏手稿进行数字化处理并采用神经拼写纠正模型进行自动纠正噪声输出的方法， 通过 Transformer + 置信度得分机制，证明该方法比 Transformer，LSTM-2-LSTM 和 GRU-2-GRU 架构更为优越，为人文社科领域研究提供了方便。
ocr technologyneural spelling correction modeltibetan manuscriptstransformer architecturehistory and religion
发现论文，激发创造
  • 神经光学字符识别历史文献后处理校正

    本研究提出了一种基于循环神经网络和卷积神经网络的光学字符识别错误自动纠正方法，针对历史藏书文献的 OCR 后置处理，以很高的效率在德语历史图书文献语料库中降低了字符误差率 32.3％以上。

    Feb, 2021

  • 优化神经网络训练以用于历史希伯来文本的 OCR 错误修正

    本研究通过创新方法训练一种轻量级神经网络，用于希伯来语 OCR 后处理，使用少量手动创建的数据。通过实验发现，使用所提出方法训练的网络比随机生成错误更有效，性能强于 OCR 后校正和复杂拼写检查的最新神经网络。这些结果对许多数字人文项目具有实际意义。

    Jul, 2023

  • 为历史希伯来文本的 OCR 错误修正构建特定时期优化的神经网络

    使用新的多阶段方法生成 OCR 错误的人工训练数据集，并进行超参数优化，以构建有效的神经网络来纠正希伯来语的 OCR 后校正。

    Jul, 2023

  • 基于 Google Web 1T 5-Gram 数据集的 OCR 上下文相关错误纠正

    本文提出了一种后处理 OCR 上下文感应错误纠正方法，使用谷歌 Web 1T 5-gram 数据集作为单词的字典进行拼写检查 OCR 文本。该方法的核心是三种算法的组合：错误检测、候选拼写生成和错误更正算法。实验表明，该方法在不同语言的扫描图像中显著提高了 OCR 错误更正率。未来的发展将支持并行和分布式计算架构。

    Apr, 2012

  • 从过去到未来：一种全自动的 NMT 和词嵌入方法，用于 OCR 后校正

    文章介绍了一种全自动无监督方式，通过提取平行数据进行基于字符序列的序列到序列神经机器翻译模型（NMT）的训练，以进行 OCR 错误更正，解决历史语料库中 OCR 错误的问题。

    Oct, 2019

  • 针对濒危语言文本的 OCR 后校正

    针对极度濒危语言中大多数没有用于构建自然语言处理模型的数据的情况，本文提出了一种从不可读的文本数据中提取文本的方法，具体而言，在三种极度濒危的语言中创建了一个基准数据集，并针对数据不足的 OCR 研究有效性做了系统分析，开发了一种针对数据不足的 OCR 后校正方法，平均可将识别错误率降低 34％。

    Nov, 2020

  • 利用 Google 在线拼写建议的 OCR 后处理错误校正算法

    本文介绍了一种基于上下文的 OCR 错误纠正算法，它利用了 Google 在线拼写建议的内部数据库来检测和纠正 OCR 的非单词和真实单词错误。实验表明，该算法可以显著提高 OCR 纠错率。

    Apr, 2012

  • 利用印刻梵文的 OCR 进行后 OCR 文本校正

    针对罗马化梵文文本数字化的后 OCR 文本纠正方法，使用其他罗马字母语言的 OCR 模型进行训练，通过合成数据生成来训练模型，并使用一种复制机制来提高字符识别率。实验结果表明，该模型在解决单调序列 - 序列任务方面比当前最先进的模型结果提高了 7.69%，能够有效地减少 OCR 产生的错误。此外，该模型的预测结果可被人类更快地理解和改进。

    Sep, 2018

  • 重新思考用于中文拼写纠正的遮盖语言建模

    通过发现 BERT 对中文拼写纠正的影响，本文提出随机蒙掉输入序列 20％的非错误标记是一种简单有效的提高语言模型和错误模型的技术，它可以被应用于任何模型架构，并在 SIGHAN 等基准测试中取得了新的最优结果

    May, 2023

  • DPCSpell：基于 Transformer 的孟加拉语和资源稀缺的印度语拼写错误检查器、净化器和修正器框架

    本文介绍如何利用去噪变形器来解决自然语言处理中的拼写错误纠正问题，还提出了一种从头创建大规模语料库的方法，并在孟加拉语的拼写错误纠正中获得显著性能优于现有方法的结果。

    Nov, 2022