Feb, 2023

基于自适应 n-gram 嵌入的增强 Transformer 用于多语言场景文本识别

PDF
TL;DR介绍了一种用于多语种场景文本识别的增强 Transformer 架构，名为 TANGER，该架构采用 n-grams 嵌入和跨语言纠正技术，并通过四个基准数据集的广泛比较研究以及从印度尼西亚旅游场景中收集的一个包含印度尼西亚语、英语和中文的新多语种场景文本数据集进行实验，实验结果表明 TANGER 具有更好的性能。
发现论文，激发创造
  • N-Grammer: 使用潜在 n-gram 扩充 Transformer

    本研究提出了一种新的改进 Transformer 模型的方法，使用了文本序列中的离散潜在表示构造 n-gram，并应用于语言建模和文本分类中，经实验证明性能优于传统的 Transformer 模型和 Primer，该模型已在 Jax 中开源以便复现。

    Jul, 2022

  • 基于 Transformer 的场景文本识别

    本论文提出了一种基于 transformer 的简单但极其有效的场景文本识别方法，只需要空间注意力而不需要矫正图像，仅使用卷积特征图作为单词嵌入输入到 transformer 中，并在大规模实验中取得了显著的优越性能。

    Mar, 2020

  • Transformer 相遇神经算法推理者

    使用 Transformer 的语言理解和图神经网络（GNN）的鲁棒性，我们提出了一种新的方法，将 Transformer 与基于神经算法推理器（NARs）的图算法进行结合，以解决算法推理方面的问题。经过评估，在算法推理方面，我们的结果表明 TransNAR 模型在 CLRS-Text 上相较于仅使用 Transformer 模型，能够获得显著的提升。

    Jun, 2024

  • 利用多语言数据集进行预训练的能力：提升文本定位性能

    基于中间表示的领域自适应场景文本识别模型，以达到在各个领域中的高准确性和高效率。

    Oct, 2023

  • 用图神经网络增强的语言模型进行高效的多语言文本分类

    提出了一种基于图神经网络和变压器的跨语言灾难相关文本分类系统，该系统可以在有限的监督下工作，并在多种语言和单语言情境下进行分类。在英语、非英语和单语数据集上测试，该系统的加权 F1 值优于现有的最先进模型和多语言 BERT 基线。

    Mar, 2022

  • 多语言自然场景文本检测算法研究

    我们提出了一种多语言文本检测模型，通过引入 SFM Swin Transformer 特征提取网络、AS-HRFPN 特征融合网络和全局语义分割分支，改进了对自然场景中多语言文本的检测准确性和难度，实验结果表明该算法 F-measure 值为 85.02%，比基准模型高出 4.71%。

    Dec, 2023

  • 图像文本匹配和检索的 Transformer 推理网络

    本文介绍了使用 Transformer Encoder Reasoning Network 架构来进行图像与文本的自动匹配，以便于实现大规模信息检索。试验结果表明，本架构成功实现了该任务且获得了创新性的成果。

    Apr, 2020

  • SemEval-2022 任务 11 中的多语言人士：基于 Transformer 的复杂 NER 架构

    本文研究了英文语言的复杂 NER 任务，使用预训练语言模型如 BERT 取得竞争性成绩，并 qualitatively 分析了多种架构在此任务上的表现，最佳模型相比 baseline F1-score 提升了超过 9%。

    Apr, 2022

  • 百万级跨语言条款级联结构转换器

    本文介绍了我们在 MRL 2022 胜出的系统，主要探索了基于 transformers 的两种方法：从头训练模型结合数据增强以及在多语言词形态任务中进行前缀调校的迁移学习，其中数据增强显著提高了大多数语言的词形和重构任务的性能，而前缀调校在预先训练的 mGPT 模型上对低数据量和多语言环境中的分析任务进行了适应，结果显示 transformers 与数据增强在词形和重构任务方面取得了最佳结果，而在分析任务方面，基于 mGPT 的前缀调校取得了最高结果。

    Nov, 2022

  • 自然语言处理的增强 Transformer 架构

    本文提出了一种新型 Transformer 结构，其特点是全层归一化、加权残差连接、利用强化学习的位置编码和零屏蔽自注意力。通过使用 Multi30k 翻译数据集进行双语评估替代，验证了所提出的增强型 Transformer 模型。结果显示，增强型 Transformer 的 BLEU 分数比原始 Transformer 模型高出了 202.96%。

    Oct, 2023