ACLJun, 2024

半监督神经原语重构

PDF
TL;DR提出了一种半监督历史重建任务，其中模型只在少量有标记数据（原型形式的同源词集）和大量无标记数据（无原型形式的同源词集）上进行训练，并且通过提出的神经架构（DPD-BiReconstructor）能够利用无标记同源词集，在这一新任务上超越强大的半监督基准模型。
comparative reconstructionancestral languageshistorical reconstruction modelssemisupervised historical reconstructionneural architecture
发现论文，激发创造
  • 从古至今：神经原语言重建

    本文研究历史语言学中的声音变化规律及该规律如何使用比较法进行原形词的重构，提出使用神经序列模型对比较法数据集中的超过 8000 个比较条目进行原形词的预测，结果表明神经序列模型优于现有的传统方法。语音学变化的复杂性存在一定的差异，但该模型仍学习了有意义的语音规律。

    Aug, 2019

  • 神经网络无监督重建原语词形

    本文介绍一种最先进的神经网络方法，用于无监督重建古代词形。通过使用具有单调对齐约束的神经模型，本方法可以捕捉更复杂的语音和形态变化，实现从五种罗曼语言中的藏语重构拉丁文词汇，并显著提高了与以前方法相比的编辑距离减少率。

    Nov, 2022

  • 通过反射预测改进的神经原型重建

    通过运用反射预测模型对重构模型中的候选原型进行重新排序，我们的研究在三个中国和罗曼语数据集中超越了最先进的原型重建方法。

    Mar, 2024

  • 神经原型语言重建

    通过数据增强、使用变分自动编码器 (VAE) 结构的 Transformer 模型和神经机器翻译模型，通过改进之前的方法来提高原型形态重建的性能。

    Apr, 2024

  • 自动音韵重构和同源语反射预测的认知变换器

    我们将蛋白质语言模型 MSA Transformer（多序列比对变换器）应用于自动语音演变重建问题，命名为同源变换器，并在同源反射预测任务中得出优于现有模型的结果，特别是在掩码词预测任务的预训练下。

    Oct, 2023

  • 变形原型重构

    使用 RNN-based encoder-decoder with attention model 和 Transformer 模型进行原型重建，分析了语言谱系启示信号。

    Jul, 2023

  • 基于同源 Transformer 的自动同源检测作为有监督的链接预测任务

    基于转换器的架构用于自动认知检测任务，在一定程度的监督下，该方法比现有方法表现更好，证明了利用标记信息的效果，并且通过接受多个序列对齐作为输入和具有链接预测头的端到端架构可以节省大量计算时间并同时产生更好的性能。

    Feb, 2024

  • 神经机器翻译的半监督学习

    该论文提出了一种半监督的方法来训练神经机器翻译模型，该方法使用标记数据和未标记数据的拼接，通过一个自编码器重建单语语料库，从而利用源语言和目标语言的单语语料库以及双语平行语料库从而在中英数据集上取得了显著的性能提升。

    Jun, 2016

  • 利用密切相关语言的形态学知识进行弱监督的低资源语言深度同源检测框架

    为了解决资源匮乏语言中的迁移学习问题，本研究提出了一种基于形态学知识的跨语言弱监督深度同源词检测框架，通过训练编码器获得语言的形态学知识，并将此知识转移至密切相关的语言以进行无监督和弱监督的同源词检测。在不同的语系上进行了实验，得到了显著的改进和超越最先进的监督和无监督方法的结果。该模型对于任何语系的各种语言都具有扩展性，因为它克服了对同源词对进行训练注释的要求。

    Nov, 2023

  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017