ACLFeb, 2022

OCR 提升低资源语言机器翻译

PDF
TL;DR研究低资源语言和脚本的 OCR 系统表现。引入 OCR4MT 基准测试，并使用真实和合成数据进行了丰富，以评估最先进的 OCR 系统，分析最常见的错误。表明 OCR 单语数据是一种有价值的资源，可以在回译中提高机器翻译模型的性能。通过消融研究来调查 OCR 误差如何影响机器翻译性能，并确定用于机器翻译有用的单语数据的最小 OCR 质量水平是多少。
ocr systemslow resource languagesbenchmarkmachine translationocr quality
发现论文，激发创造
  • 针对濒危语言文本的 OCR 后校正

    针对极度濒危语言中大多数没有用于构建自然语言处理模型的数据的情况，本文提出了一种从不可读的文本数据中提取文本的方法，具体而言，在三种极度濒危的语言中创建了一个基准数据集，并针对数据不足的 OCR 研究有效性做了系统分析，开发了一种针对数据不足的 OCR 后校正方法，平均可将识别错误率降低 34％。

    Nov, 2020

  • 机器翻译中印度语言的低资源状态再探讨

    本文提供并分析了一个用于印度语神经机器翻译系统的大规模多语言句子对齐语料库和强大基准的自动化框架，其中包括基线 NMT 系统，检索模块和用于公共网站的对齐模块，通过迭代增加语料库来改进系统。我们的工作还评估了设计选择，例如枢轴语言的选择和迭代式增量语料库增加的影响。与现有的印度语语料库相比，本工作不仅提供了自动化框架，还产生了一个相对较大的语料库。这个语料库使我们能够在公开的 WAT 评估基准和其他标准评估基准上获得明显改善的结果。

    Aug, 2020

  • 低资源神经机器翻译调查

    本文对低资源神经机器翻译进行了调查，并根据所使用的辅助数据将相关作品分为三类：利用源语言和 / 或目标语言的单语数据，利用来自辅助语言的数据以及利用多模态数据。该调查有助于研究人员更好地理解该领域，鼓励他们设计更好的算法，也有助于帮助行业从业者选择适合其应用程序的算法。

    Jul, 2021

  • OCR 噪声对语言模型的影响评估

    本研究旨在分析 OCR 噪声对多语种语言模型的影响，并发现 OCR 噪声会对语言模型造成显著影响，特别是在少量语料库的情况下，简单的语言模型如 PPMI 和 Word2Vec 可以更好地应对 OCR 噪声。

    Jan, 2022

  • bbOCR：一个用于孟加拉文档的开源多领域 OCR 处理流程

    本文介绍了 Bengali.AI-BRACU-OCR（bbOCR）：一种开源可扩展的文档光学字符识别系统，可将孟加拉语文档重构为结构化的可搜索的数字化格式，并提出了一种新颖的孟加拉语文本识别模型和两个合成数据集。全面的组件级和系统级评估结果表明，我们提出的解决方案优于当前最先进的孟加拉语 OCR 系统。

    Aug, 2023

  • 嘈杂的并行数据对齐

    本研究旨在研究现有的词级联模型在嘈杂环境下的对齐问题，并通过噪声模拟和结构偏置的方法提高模型的稳健性，从而显著降低基于神经网络的对齐模型的对齐误差率。

    Jan, 2023

  • 在低资源环境下利用翻译进行语音转录

    研究对濒危语言的数据采集，利用多源神经网络模型和翻译，成功提高了转录质量。

    Mar, 2018

  • Kwak'wala OCR 系统的用户中心评估

    本文提出了 OCR 系统的人类中心评估方法，并以 Kwak'wala 语作为案例研究，证明利用 OCR 技术可以大幅减少手动文本转录所需的时间，尤其对濒临灭绝的语言社区和研究人员，对语言文献的记录和活化具有潜在的益处。

    Feb, 2023

  • 五种非洲语言低资源神经机器翻译基准

    研究了最近神经机器翻译 (NMT) 在英语和五种非洲低资源语言 (LRL) 对之间的效果，并表明多语言模型 (multilingual approach) 在某些翻译方向上有 +5 分数的提升。同时，提供标准的实验数据和测试集以供未来的研究使用。

    Mar, 2020

  • 利用大语言模型学习低资源语言的翻译质量评估

    使用大型语言模型，无需人工注释，将合成数据集混合到现有数据集中，可以提高低资源语言的 BLEURT 模型性能。

    Feb, 2023