最新的语音识别和翻译技术依赖于数十万小时的互联网语音数据。我们认为即使不依赖于互联网规模的数据，也可以达到最先进的准确性。Canary - 多语言 ASR 和语音翻译模型在英语、法语、西班牙语和德语等语言上优于当前最先进的模型 - Whisper、OWSM 和 Seamless-M4T，与这些模型相比，它使用的数据量更少一个数量级。三个关键因素使得这种数据高效模型成为可能：（1）基于 FastConformer 的注意力编码器 - 解码器架构，（2）使用机器翻译生成的合成数据进行训练，以及（3）先进的训练技术：数据平衡、动态数据融合、动态分桶和抗噪音微调。该模型以及权重和训练代码将开源。

Jun, 2024

将影片元数据等额外文本上下文引入机器翻译（MT）流程可以提高翻译质量，通过最近的自动评估可得知，但这类系统在工业领域的积极影响尚未得到证实。我们报告了一项工业案例研究，旨在调查 MT 在专业电视字幕翻译场景中的受益和如何利用额外文本上下文影响后期编辑。我们发现，在修正具有上下文感知模型 MTCue 输出时，与非上下文模型相比，后期编辑人员标记了更少与上下文相关的错误。我们还介绍了一项针对从业后期编辑人员的调查结果，该调查强调了 MT 中持续存在的上下文不足问题。我们的发现加强了在完全上下文化的 MT 领域开展进一步工作的动力。

Jun, 2024

介绍了 xTower，这是一个基于 TowerBase 搭建的开放式大型语言模型，旨在提供针对翻译错误的自由文本解释，以引导生成修正翻译的过程，并通过内在和外在评估来评估其生成的解释的质量。在多个实验设置中测试了 xTower，证明了在翻译质量上有显著改进，凸显出 xTower 不仅能产生合理和有用的自动翻译解释，还能利用这些解释来建议修正的翻译。

Jun, 2024

大型语言模型在机器翻译领域取得了惊人的进展，然而在金融领域的有效性仍然很少被探讨。我们构建了一个细粒度的中英平行金融新闻语料库，名为 FFN，以研究此问题。通过使用 BLEU、TER 和 chrF 评估指标，我们测量了两个 LLMs（ChatGPT 和 ERNIE-bot）的翻译质量。与此同时，我们还基于我们的数据集训练了一个基于 OpenNMT 的模型。我们详细解释了 LLMs 的问题，并进行了深入分析，旨在激发对这个几乎未知领域的进一步研究和解决方案。我们的研究强调了在金融翻译领域中优化 LLMs 以确保准确性和质量的必要性。

Jun, 2024

该研究以机器翻译和自动语音识别系统为基础，探索埃及阿拉伯语和英语的代码切换现象，并提供了关于开发这些系统的方法学，使用了 LLama 和 Gemma 等大规模语言模型。该研究实验了 Whisper 模型在代码切换的埃及阿拉伯语识别中的应用，详细介绍了数据预处理和训练技术等实验过程。通过将自动语音识别与机器翻译相结合的连续语音转文本翻译系统的实现，研究旨在克服有限资源和埃及阿拉伯语方言的独特特点所带来的挑战。通过与已有指标的评估，我们的方法在英语翻译方面取得了 56% 的显著提高和 9.3% 的阿拉伯语翻译提高。由于代码切换在口头语言中是根深蒂固的，自动语音识别系统能够有效处理这一现象至关重要。这种能力对于实现各个领域的无缝交流至关重要，包括商务谈判、文化交流和学术讨论。我们的模型和代码可作为开源资源使用。

Jun, 2024

将大型语言模型（LLMs）集成到自动语音识别（ASR）和机器翻译（MT）系统中，通过利用 N-best 列表细化 ASR 输出和精炼 LLM 来提高翻译质量，实现了 ASR 和 MT 系统的性能改进。

Jun, 2024

通过使用 Ladder，我们开发了一种新颖的与模型无关且成本有效的工具，用于改进用于机器翻译的通用 LLMs 的性能。通过在现有 LLMs 中获得的伪精炼三元组进行训练，Ladder 可以逐步改进其精炼性能，并与任何通用 LLMs 无缝集成，提升其翻译表现。

Jun, 2024

这篇论文研究了在 Transformer 模型解码器中添加的符号工作内存的属性，该工作内存增强了机器翻译任务中模型预测的质量，并作为信息的神经符号表示，对于模型进行正确翻译至关重要。通过研究记忆内容发现，翻译文本的关键词存储在工作内存中，指向记忆内容与处理文本的相关性。此外，存储在内存中的标记和词性的多样性与机器翻译任务的复杂性相关。

Jun, 2024

通过发布离散音频和语音基准 (DASB)，我们研究了离散音频标记符在各种任务中的性能表现，并发现语义标记比压缩标记在大多数任务中表现更好，但语义标记和标准连续表示之间的性能差距仍然存在。

Jun, 2024

对多语言语言模型进行评估，提出可靠的评估实践方向，通过机器翻译研究其在低资源语言上的性能，并发现简化的基准模型能够取得相对强的性能表现。

Jun, 2024