神经原型语言重建
使用 RNN-based encoder-decoder with attention model 和 Transformer 模型进行原型重建,分析了语言谱系启示信号。
Jul, 2023
提出了一种半监督历史重建任务,其中模型只在少量有标记数据(原型形式的同源词集)和大量无标记数据(无原型形式的同源词集)上进行训练,并且通过提出的神经架构(DPD-BiReconstructor)能够利用无标记同源词集,在这一新任务上超越强大的半监督基准模型。
Jun, 2024
本文介绍一种最先进的神经网络方法,用于无监督重建古代词形。通过使用具有单调对齐约束的神经模型,本方法可以捕捉更复杂的语音和形态变化,实现从五种罗曼语言中的藏语重构拉丁文词汇,并显著提高了与以前方法相比的编辑距离减少率。
Nov, 2022
我们将蛋白质语言模型 MSA Transformer(多序列比对变换器)应用于自动语音演变重建问题,命名为同源变换器,并在同源反射预测任务中得出优于现有模型的结果,特别是在掩码词预测任务的预训练下。
Oct, 2023
本篇论文提出了一种基于条件变分自编码器和编码 - 解码 Transformer 模型结合的神经数据增强方法,可以在句子级别捕捉自然语言处理任务的多样性,同时在监督任务上具有更好的泛化性能,实验证明该方法对于强化自然语言处理的下游任务有较好的效果。
May, 2022
研究了通过预训练语言模型进行机器人的语言描述,在简单的物体操作场景下,实现了机器人行为和语言描述的双向绑定,并提出使用所提供的 PVAE-BERT 模型可以在真实场景中用于实现人机交互的指令。
Jan, 2022
本研究旨在提高非自回归模型的神经机器翻译的效率和性能,通过将语言的句法和语义结构以及目标句子中的中间潜在对齐纳入一个非自回归 Transformer 模型。实验证明,该模型在速度上显著提高,与现有的多个最先进的非自回归模型相比,在保持翻译质量的同时表现突出。
Jan, 2021
通过添加 reconstructor 到 encoder-decoder 框架中,从输出的 target sentence 的隐藏层中重构输入的 source sentence,改善了神经机器翻译的可靠性和翻译质量。
Nov, 2016
本文研究历史语言学中的声音变化规律及该规律如何使用比较法进行原形词的重构,提出使用神经序列模型对比较法数据集中的超过 8000 个比较条目进行原形词的预测,结果表明神经序列模型优于现有的传统方法。语音学变化的复杂性存在一定的差异,但该模型仍学习了有意义的语音规律。
Aug, 2019