EMNLPOct, 2023

自动音韵重构和同源语反射预测的认知变换器

PDF
TL;DR我们将蛋白质语言模型 MSA Transformer（多序列比对变换器）应用于自动语音演变重建问题，命名为同源变换器，并在同源反射预测任务中得出优于现有模型的结果，特别是在掩码词预测任务的预训练下。
phonological reconstructionhistorical linguisticscomputational approachesmsa transformercognate reflex prediction
发现论文，激发创造
  • 基于同源 Transformer 的自动同源检测作为有监督的链接预测任务

    基于转换器的架构用于自动认知检测任务，在一定程度的监督下，该方法比现有方法表现更好，证明了利用标记信息的效果，并且通过接受多个序列对齐作为输入和具有链接预测头的端到端架构可以节省大量计算时间并同时产生更好的性能。

    Feb, 2024

  • 通过反射预测改进的神经原型重建

    通过运用反射预测模型对重构模型中的候选原型进行重新排序，我们的研究在三个中国和罗曼语数据集中超越了最先进的原型重建方法。

    Mar, 2024

  • 半监督神经原语重构

    提出了一种半监督历史重建任务，其中模型只在少量有标记数据（原型形式的同源词集）和大量无标记数据（无原型形式的同源词集）上进行训练，并且通过提出的神经架构（DPD-BiReconstructor）能够利用无标记同源词集，在这一新任务上超越强大的半监督基准模型。

    Jun, 2024

  • 变形原型重构

    使用 RNN-based encoder-decoder with attention model 和 Transformer 模型进行原型重建，分析了语言谱系启示信号。

    Jul, 2023

  • 从古至今：神经原语言重建

    本文研究历史语言学中的声音变化规律及该规律如何使用比较法进行原形词的重构，提出使用神经序列模型对比较法数据集中的超过 8000 个比较条目进行原形词的预测，结果表明神经序列模型优于现有的传统方法。语音学变化的复杂性存在一定的差异，但该模型仍学习了有意义的语音规律。

    Aug, 2019

  • 神经网络无监督重建原语词形

    本文介绍一种最先进的神经网络方法，用于无监督重建古代词形。通过使用具有单调对齐约束的神经模型，本方法可以捕捉更复杂的语音和形态变化，实现从五种罗曼语言中的藏语重构拉丁文词汇，并显著提高了与以前方法相比的编辑距离减少率。

    Nov, 2022

  • 神经原型语言重建

    通过数据增强、使用变分自动编码器 (VAE) 结构的 Transformer 模型和神经机器翻译模型，通过改进之前的方法来提高原型形态重建的性能。

    Apr, 2024

  • 利用扩展语音对韵律预测视为一种分类问题的方法

    本文提出了一种基于扩展对齐和多层向量的方法来预测同源词反应，并利用并行语料库进行模型的训练和评估，实验结果表明使用随机森林模型可以得到较好的预测效果。

    May, 2022

  • 使用削减对齐和音位对应模式进行快速自动音系重建的新框架

    本文介绍了一种新的计算机模型，该模型结合了最先进的自动化序列比对技术和新颖的语音对准分析技术以及声音对应模式检测技术，可用于监督祖先语言的单词形态学恢复，测试结果表明该方法既快速又易于实现和扩展。

    Apr, 2022

  • 面向多语言神经翻译的同源词意感知形态分割

    Aalto 大学使用基于 Transformer 模型的系统，通过引入跨语言的 Cognate Morfessor 来改进英语到芬兰语和爱沙尼亚语翻译的一致性，尤其是对于爱沙尼亚语这种资源相对较少的语言，同时在 WMT18 新闻翻译中取得了好的结果。

    Aug, 2018