Jul, 2023

BARTPhoBEiT：面向越南视觉问答的预训练序列到序列和图像变换模型

PDF
TL;DR我们引入了一种基于 Transformer 的越南模型 BARTPhoBEiT，该模型包括了预训练的越南序列到序列和双向编码器表示，用于评估越南语 VQA 数据集，并在准确度、精确度、召回率、F1 得分、WUPS 0.0 和 WUPS 0.9 等六个指标上优于强基准模型和现有最先进模型。
visual question answeringnatural language processingcomputer visionvietnamese modelbartphobeit
发现论文，激发创造
  • BARTpho: 为越南语预训练的序列到序列模型

    本文介绍了两个版本的 BARTpho 模型：BARTpho-syllable 和 BARTpho-word，这两个模型是首个由越南语言训练的公共大规模单语序列到序列模型，使用 BART 的预训练机制，适用于生成式自然语言处理任务。在越南文本摘要等下游任务中，BARTpho 比强基线 mBART 表现更好，进一步在越南大写字母和标点符号恢复任务中表现更为有效。

    Sep, 2021

  • OpenViVQA: 越南语视觉问题回答任务、数据集和多模态融合模型

    本文介绍了 OpenViVQA：首个包含越南语开放式答案的大规模 VQA 数据集，包括 11,000 + 图像和 37,000+ 问答对，并提出了三个融合图像和答案信息的方法（FST，QuMLAG 和 MLPAG），并使用这些融合的特征构建答案，旨在促进研究社区针对越南语这类低资源语言开发出更广义的算法，结果与 SOTA 模型竞争力相当。

    May, 2023

  • ViDeBERTa: 一种用于越南语的强大预训练语言模型

    本文介绍了 ViDeBERTa，一种新的越南语预训练单语言模型，使用 DeBERTa 架构在大规模高质量多样化的越南文本语料库上进行预训练，取得了在越南特定的自然语言理解任务上比前文献更好的表现，尤其在问答任务上能取得出色的结果。该模型相较于其他预训练语言模型具有更少的参数，其表现非常出色，并且现已提供供大家使用。

    Jan, 2023

  • ViSoBERT：用于越南社交媒体文本处理的预训练语言模型

    本文介绍了首个用于越南社交媒体文本的单语言预训练语言模型 ViSoBERT，该模型使用 XLM-R 架构，在大规模高质量多样化的越南社交媒体文本语料库上进行预训练，并在越南社交媒体文本的情绪识别、仇恨言论检测、情感分析、垃圾评论检测和仇恨言论跨度检测等五个重要的自然语言下游任务中超越了之前最先进的模型。

    Oct, 2023

  • 将图像特征与卷积序列到序列网络相结合，用于多语言视觉问答

    本研究利用已预训练的最新 VQA 模型和卷积序列到序列网络整合图像特征，作为 VLSP2022-EVJVQA 多语言场景下，视觉问答任务的解决方案，在公共测试集上达到了 F1 分数 0.3442，在私人测试集上达到了 0.4210，排名第三。

    Mar, 2023

  • ViTextVQA：用于评估图像中越南文本理解的大规模视觉问答数据集

    通过对 OCR 文本中令牌的处理和选择顺序的细致实验，我们发现这一发现显著提高了在 ViTextVQA 数据集上基准模型的性能。

    Apr, 2024

  • 使用基于 Transformer 的神经模型提升越南文本序列标注

    本文介绍了使用多语言 BERT 嵌入和一些新的神经模型，提高越南语序列标记任务的研究。我们提出了新的模型架构，在 VLSP 2016 和 VLSP 2018 两个命名实体识别数据集和 VLSP 2010 和 VLSP 2013 两个词性标记数据集上进行了广泛评估。我们的方法优于现有方法，并实现了新的最先进结果。

    Jun, 2020

  • SPBERTQA：一种基于句子 Transformer 的医学文本两阶段问答系统

    本文旨在创建一个提供医疗健康知识问答的越南医疗保健系统，并使用基于 SBERT 的多负面排名损失方法和 BM25 改进的两阶段 QA 系统来评估其性能优于传统方法的表现

    Jun, 2022

  • ViT5: 预训练的文本到文本 Transformer 模型用于越南语生成

    本文介绍了 ViT5，这是一种使用预训练 Transformer-based encoder-decoder 模型为基础的越南语自然语言处理模型，可以在 Abstractive Text Summarization 和 Named Entity Recognition 等任务中实现出色的表现。

    May, 2022

  • VLSP2022-EVJVQA 挑战：多语言视觉问答

    本文提出了一个基于越南图片的多语言视觉问答基准数据集 EVJVQA，用于评估多语言 VQA 系统或模型，并详细介绍了 9th Workshop on Vietnamese Language and Speech Processing (VLSP 2022) 的组织、方法和结果，其中前两个团队使用 ViT 预训练模型和 mT5 预训练语言模型实现多语言 QA 系统。

    Feb, 2023