用机器翻译和最小对方法，提出 SilverAlign 来自动创建银数据进行单词对齐器的评估，并表明我们的银数据在 9 种语言对中的表现与金标准高度相关，使其成为在缺乏金数据对齐的低资源语言中评估不同领域和语言的有效资源。

Oct, 2022

通过分析编解码语言模型中的分布差距，并利用来自人类反馈的学习，本研究提出了 SpeechAlign 策略，通过构建偏好编解码数据集并进行优化，实现了语音语言模型的持续自我改进，解决了编解码语言模型的分布差距问题。

Apr, 2024

本文提出了一种新颖的评估方法，用于基于文本的发言人分离，克服了传统度量标准在文本中不考虑任何上下文信息的局限性。我们提出了两个新的度量标准，即基于文本的分离错误率和分离 F1 值，通过对参考和假设转录中的标记进行对齐，进行话语和单词级别的评估。我们的度量标准涵盖了更多类型的错误，相比现有的度量标准，可以进行更全面的发言人分离分析。为了对齐标记，引入了一种多序列对齐算法，支持参考序列中的多个序列，同时使用动态规划处理假设中的高维对齐。我们的工作打包为两个工具，align4d 提供用于对齐算法的 API，TranscribeView 用于可视化和评估发言人分离错误，这可以极大地帮助创建高质量的数据，促进对话系统的发展。

Sep, 2023

该研究提出了一种基于 RAD-TTS 的对齐机制作为 TTS 模型的通用对齐学习框架，该框架结合了前向和算法、维特比算法和简单有效的静态先验，可提高 TTS 模型的对齐收敛速度，并使模型对长语音的错误更加鲁棒，从而提高口头合成的质量。

Aug, 2021

使用软对齐方法进行端到端语音翻译，通过对抗训练对齐语音和文本之间的表示空间，提高翻译性能。

Dec, 2023

本文评估了目前针对语音翻译的指标，并评估了不同评估方法在方言变体翻译上的影响。同时表明先前使用的自动度量标准最适合于标准化高资源语言。

Oct, 2021

本论文提出一种模型，结合 IBM Model 2 和 k-means 聚类，使用动态时间规整作为距离度量，在极低资源情况下，该模型比神经模型表现更好，可用于将翻译的语音数据自动对齐。

Sep, 2016

通过 Descriptive Speech-Text Alignment 方法，本研究提出了一种新型的语音语言模型，可以解释和生成全面的自然语言描述，从而促进对语音的语言和非语言特征的理解，并在 Dynamic-SUPERB 基准测试中展现出卓越性能，尤其是在未见过的任务上的泛化能力，同时发现对齐模型具有零样本指令跟随能力，无需显式调整语音指令，这些发现突显了通过加入丰富的描述性语音字幕来改变指令跟随语音语言模型的潜力。

Jun, 2024

我们提出了一种名为 POWER 的新的指标来评估语音识别错误率，该指标考虑到了音素的对齐。POWER 指标可捕捉语音识别假设中的同音字错误的一对多词对齐，同时提供更好的单词对齐，将更好地追踪 Levenshtein 错误类型及对语音转换等后续任务的影响。

Apr, 2019

本文介绍了一个用于多语言演讲语音翻译研究的大规模多语言语音语料库 SpeechMatrix，并建立了基于演讲记录的平行语音翻译模型，探讨了少有的多语言语音翻译问题和一些基于模型先训练和混合专家使用的解决方案。

Nov, 2022