我们将蛋白质语言模型 MSA Transformer(多序列比对变换器)应用于自动语音演变重建问题,命名为同源变换器,并在同源反射预测任务中得出优于现有模型的结果,特别是在掩码词预测任务的预训练下。
Oct, 2023
本研究提出了基于生物进化中所采用的修剪技术的音位对齐修剪工作流程来改进语音拟音同源语识别技术,经实验证明这种方法可以大幅度提升同源识别的一致性,增加高频的音位对应规律和通用的同源单词的比例。
Mar, 2023
通过运用反射预测模型对重构模型中的候选原型进行重新排序,我们的研究在三个中国和罗曼语数据集中超越了最先进的原型重建方法。
Mar, 2024
基于转换器的架构用于自动认知检测任务,在一定程度的监督下,该方法比现有方法表现更好,证明了利用标记信息的效果,并且通过接受多个序列对齐作为输入和具有链接预测头的端到端架构可以节省大量计算时间并同时产生更好的性能。
Feb, 2024
本文介绍了一种新的计算机模型,该模型结合了最先进的自动化序列比对技术和新颖的语音对准分析技术以及声音对应模式检测技术,可用于监督祖先语言的单词形态学恢复,测试结果表明该方法既快速又易于实现和扩展。
Apr, 2022
本篇论文利用信息检索中的排名函数,应用于同源检测,针对同源检测的难点,使用语言模型平滑方法和位置分割与错误建模技术,相比其他基线方法在分类和预测中表现更佳。
Nov, 2018
本篇论文介绍了苏黎世大学在 SIGMORPHON 2017 共享任务中针对形态重构的提交。 我们专注于神经网络方法,可以在有限资源的情况下解决任务。 我们提出了两种具有硬单调注意机制的循环神经网络架构,这些架构在复制方面很强大,并且在实现方面存在显着差异。 随后,我们提出了一些实验,通过字符对齐技术使翻译连贯,并基于样本量 100 的条件下,所提出的两种方法(以模型集合的形式)均优于下一竞争对手,成为了 SIGMORPHON 2017 共享任务 1 的全局胜者。
Jul, 2017
本文介绍了对多达 100 种语言进行训练的多语言端到端语音识别模型的适应性,研究表明了目标语言和预训练语言在语音学、语音学、语言家族、地理位置和正字法等方面的相对重要性,并通过上下文无关的音素目标和语言对抗性分类目标提高了语言无关的编码器表示的效果。
Apr, 2019
本文提出了一种新的数据驱动方法来研究跨语音识别方案中的跨语言声学语音相似性,通过训练深度神经网络来将来自不同声音模型的分布转化为可直接比较的形式,并通过熵分析发现少重叠语音的语言更易于跨语言传输,在融合单语言模型方面取得了相对于单语言识别的 8%的改进。
Jul, 2022
Aalto 大学使用基于 Transformer 模型的系统,通过引入跨语言的 Cognate Morfessor 来改进英语到芬兰语和爱沙尼亚语翻译的一致性,尤其是对于爱沙尼亚语这种资源相对较少的语言,同时在 WMT18 新闻翻译中取得了好的结果。
Aug, 2018