Jun, 2023

基于 Transformer 的语音识别模型的迁移学习：由捷克语到斯洛伐克语

PDF
TL;DR本文探讨了利用 Transfer Learning 方法，从 Czech pre-trained Wav2Vec 2.0 Model 中导入语音识别模型到斯洛伐克，并在三个 Slovak 数据集上进行了测试，结果表明在预训练阶段初始化权重后，我们的斯洛伐克模型取得了最佳结果，并且优于更大的公共多语种模型。
slovak speech recognitiontransformers architecturetransfer learningczech pre-trained wav2vec 2.0 modelmultilingual models
发现论文，激发创造
  • 使用大型数据集探索单语音频 Transformer 在捷克语自动语音识别中的能力

    本文介绍了在大数据集上通过预训练机器学习模型和微调等方法，利用无标签语音数据和有标签语音数据对 Wav2Vec 2.0 进行 ASR 系统的训练及评估，并取得成功的实验结果。

    Jun, 2022

  • WMT19 中的英捷系统：文档级 Transformer

    本文介绍在 WMT19 共享任务中，我们采用 Transformer 模型和 document-level 训练方式，用于英捷克翻译，以提高翻译文件的充分性和连贯性。

    Jul, 2019

  • 使用预训练模型的自适应多语言语音识别

    使用预训练的 wav2vec 2.0 和 MBART50 模型，结合自适应权重技术，显著提高公共数据集上多语言语音识别的准确性，比纯监督学习提高 44%。同时我们还探索了如何通过微调结构以获得最佳模型。

    May, 2022

  • 通过机器翻译和跨语言转移在捷克语阅读理解

    该研究针对捷克语读解系统建立，通过自动翻译 SQuaD 1.1 和 2.0 数据集，并训练和评估了多个 BERT 和 XLM-RoBERTa 基准模型，证明了跨语言转移方法的成功性。

    Jul, 2020

  • MALACH 项目中基于 Transformer 的正式与口语捷克语自动语音识别

    本文研究以最新的端到端自监督音频 Transformer 技术为基础，探讨非正式口语形式对 Wav2Vec 2.0 模型性能和转录正式文本的影响，并提出具有正式和非正式语言模型的训练方案及评测结果。

    Jun, 2022

  • Czert-- 用于语言表达的类波津 (BERT) 捷克模型

    本文介绍了首个基于 BERT 和 ALBERT 架构的捷克语单语言表示模型的训练过程，使用超过 340,000 个句子进行预训练，并在 9 个数据集上超越了多语言模型的表现，同时在九个数据集上取得了新的最优结果。

    Mar, 2021

  • SlovakBERT：斯洛伐克遮罩语言模型

    介绍了一种名为 SlovakBERT 的新型斯洛伐克遮蔽语言模型，是第一篇讨论基于 transformers 的斯洛伐克语言模型的论文。评估发现该模型在多项自然语言处理任务中取得了最优结果，并建立了斯洛伐克语言模型的基准。发布了遮蔽语言模型以及针对词性标注、情感分析和语义文本相似性的微调模型。

    Sep, 2021

  • 规模化波兰变压器语言模型预训练

    本文介绍了两个基于流行的 BERT 架构的波兰语语言模型，经过评估，我们的模型在 13 个波兰语语言任务中取得了显著的提高。

    Jun, 2020

  • 低预算下的语音识别迁移学习

    通过模型自适应的迁移学习方法，将原本用于英语自动语音识别的 Wav2Letter 卷积神经网络适配到德语 ASR 模型的训练中，实现了在受限 GPU 内存、吞吐量和训练数据的情况下，基于消费级硬件实现更快的训练，同时减少了训练数据量，从而降低了在其他语言中训练 ASR 模型的成本。网络层的微小调整已经足够实现较好的性能。

    Jun, 2017

  • 从英语到外语：迁移预训练语言模型

    本文介绍一种在有限计算预算下将英文预训练模型转移到其他语言的方法，使用单个 GPU，一天内可以获得一种新的外语 BERT 基础模型，并在六种语言上展示该方法在零样本任务上比多语言 BERT 更为有效的结果。

    Feb, 2020