May, 2023

使用 Vision Transformers 量化字符相似度

PDF
TL;DR使用大量自我监督训练的视觉变换器（ViT），通过对数字化字体进行增强，开发了一种可扩展的方法来测量 OCR 文档的字符替换成本。使用字符表示之间的余弦距离作为编辑距离匹配算法中的替换成本，与其他广泛使用的字符串匹配方法相比，可以显著提高记录链接的精度，因为 OCR 错误往往是同形异义字的。 通过创建古代汉字的同形异义字集合，可以捕捉古代社会不同抽象概念的关系。
record linkagestring matching methodshomoglyphsocr'ed documentsvision transformers
发现论文，激发创造
  • Levenshtein OCR

    提出了一种基于 Vision-Language Transformer (VLT) 的新型场景文本识别器 (Levenshtein OCR)，利用交叉模态 Transformer 相互融合和逐步近似 ground truth, 通过模拟学习，实现并行解码，动态长度变化和良好的可解释性。实验证明，LevOCR 在标准基准测试中实现了最新水平，LevOCR 算法的有效性和优势得到了定量和定性分析的验证。

    Sep, 2022

  • 优化文化打字文件字符识别图像处理算法

    利用多目标问题公式和非支配排序遗传算法（NSGA-II）调整参数，本文评估了在光学字符识别（OCR）应用于打字文化遗产文件时图像处理方法和参数调整的影响，并发现通过数字表示类型来针对图像预处理算法进行参数化可以提高 OCR 的性能。特别是自适应阈值法、双边滤波器和开操作是剧院封面、信件和整体数据集中表现最好的算法，应在 OCR 之前应用以提高其性能。

    Nov, 2023

  • 通过视觉匹配实现自适应文本识别

    该研究旨在解决文档中的文本识别的泛化和灵活性问题。该研究提出了一种新模型，通过利用语言中字符的重复性，将文本识别转化为形状匹配问题，从而实现了外观的泛化和分类的灵活性。该模型可以解决传统架构无法解决的挑战，并在不同字母表的合成和真实数据集上进行了评估，得到了显著的改进。

    Sep, 2020

  • 字符查询：基于 Transformer 的在线手写字符分割方法

    在线手写字符分割与手写识别紧密关联，但仅通过识别模型定位相关位置通常无法产生精确的分割。我们将分割与识别解耦，使得分割结果能进一步被利用。我们专注于已知转录的情况，此时字符分割变成了笔迹轨迹的采样点与文本中字符的匹配问题。受 $k$-means 聚类算法启发，我们从簇分配的角度看待它，并提出了一种基于 Transformer 的架构，在 Transformer 解码器块中使用学得的字符查询形成每个簇。为了评估我们方法的质量，我们为两个流行的在线手写数据集 IAM-OnDB 和 HANDS-VNOnDB 创建了字符分割的真值，并对它们进行了多种方法的评估，证明我们的方法达到了最佳的整体效果。

    Sep, 2023

  • 多模态对比学习中的表示链接

    该研究开发了一个名为 CLIPPINGS 的多模态框架，它利用端到端训练，对称视觉和语言双编码器，并通过对比语言 - 图像预训练来将它们对齐，以学习一个度量空间，在这个空间中，给定实例的汇总图像 - 文本表示对于同一类别的表示非常接近，对于不同类别的表示则很遥远。该框架在两个应用方面的表现都超过了广泛使用的字符串匹配方法，并且在不需要任何标签的情况下，仅基于图像 - OCR 对进行自我监督训练的纯自监督模型也比受欢迎的字符串匹配方法表现更好。

    Apr, 2023

  • 上下文相似性比字符相似性更有价值：汉语拼写纠错的实证研究

    提出一种用于中文拼写检查的课程学习框架，结合上下文信息以及字符相似度从简单到困难地训练模型，取得较好性能。实验表明相对于字符相似度，上下文的相似度对于这个任务更加有价值。

    Jul, 2022

  • 基于小型语言模型的语义文本传输：成本 - 相似性权衡

    通过语言模型和预测算法，在噪声信道下进行自然语言文本的通信，探讨传输成本和语义相似性之间的关系。在噪声信道下，所有预测算法和调度策略表现不佳，但使用字符级霍夫曼编码可以降低所需传输成本。

    Mar, 2024

  • TransDocs：基于光学字符识别和逐字翻译的翻译工具

    本研究旨在提高 OCR 质量，通过使用 LSTM 技术集成 OCR 与深度学习模型进行文档翻译，并在英语到西班牙语翻译中显示了深度学习模型的比较研究，将终端到终端的性能用 BLEU-4 评分表达，旨在让研究人员和 OCR 应用于文档翻译的实践者感兴趣。

    Apr, 2023

  • KERMIT -- 一种基于 Transformer 的知识图谱匹配方法

    利用预训练的句子转换器生成匹配候选项，接着使用优化的双重编码器来生成最佳匹配项以便自动匹配知识图谱和本体论。在多个数据集上进行了验证并展示了可行性和卓越的结果。

    Apr, 2022

  • 面向零样本字符识别的黄金标准数据集及基于部首级别的标注

    构建一个包含基本水平和字符水平注释的古代汉字图像数据集，并提出一种基于字符分解和重组的零样本光学字符识别基准模型，实验证明了数据集和基准模型的有效性。

    Aug, 2023