Jul, 2023

变形原型重构

PDF
TL;DR使用 RNN-based encoder-decoder with attention model 和 Transformer 模型进行原型重建，分析了语言谱系启示信号。
发现论文，激发创造
  • 神经原型语言重建

    通过数据增强、使用变分自动编码器 (VAE) 结构的 Transformer 模型和神经机器翻译模型，通过改进之前的方法来提高原型形态重建的性能。

    Apr, 2024

  • 通过反射预测改进的神经原型重建

    通过运用反射预测模型对重构模型中的候选原型进行重新排序，我们的研究在三个中国和罗曼语数据集中超越了最先进的原型重建方法。

    Mar, 2024

  • 神经网络无监督重建原语词形

    本文介绍一种最先进的神经网络方法，用于无监督重建古代词形。通过使用具有单调对齐约束的神经模型，本方法可以捕捉更复杂的语音和形态变化，实现从五种罗曼语言中的藏语重构拉丁文词汇，并显著提高了与以前方法相比的编辑距离减少率。

    Nov, 2022

  • 自动音韵重构和同源语反射预测的认知变换器

    我们将蛋白质语言模型 MSA Transformer（多序列比对变换器）应用于自动语音演变重建问题，命名为同源变换器，并在同源反射预测任务中得出优于现有模型的结果，特别是在掩码词预测任务的预训练下。

    Oct, 2023

  • 半监督神经原语重构

    提出了一种半监督历史重建任务，其中模型只在少量有标记数据（原型形式的同源词集）和大量无标记数据（无原型形式的同源词集）上进行训练，并且通过提出的神经架构（DPD-BiReconstructor）能够利用无标记同源词集，在这一新任务上超越强大的半监督基准模型。

    Jun, 2024

  • 从古至今：神经原语言重建

    本文研究历史语言学中的声音变化规律及该规律如何使用比较法进行原形词的重构，提出使用神经序列模型对比较法数据集中的超过 8000 个比较条目进行原形词的预测，结果表明神经序列模型优于现有的传统方法。语音学变化的复杂性存在一定的差异，但该模型仍学习了有意义的语音规律。

    Aug, 2019

  • Morph Call: 探究多语种 Transformer 的形态句法内容

    本研究提出了 Morph Call，它是针对四种不同形态的印欧语言（英语，法语，德语和俄语）的 46 个探测任务套件，使用诱导句子扰动的检测方法，在神经元，层和表示水平上分析了四个多语言 transformers 的形态句法内容，其中包括其不太被探究的蒸馏版本，并研究了精调 POS 标记对模型知识的影响。研究结果表明，精调可以改善和降低探测性能，并改变形态句法知识在模型中的分布。代码和数据公开，希望填补 transformers 的研究空白。

    Apr, 2021

  • 神经传导学习及其拓展：极度资源匮乏情况下的形态生成

    在小型训练集下，我们针对 neural seq2seq models 在 paradigm completion 的应用中性能低下提出了两种新方法：1. Paradigm transduction， 2. Source selection with high precision (SHIP)， 在 52 种语言的基准数据集上，我们相比之前的技术水平在最高达 9.71% 的绝对准确率上实现了优异表现。

    Sep, 2018

  • Protoformer: 使用原型嵌入 Transformer

    Protoformer 是一种新颖的自学习框架，其适用于 Transformers 以解决真实世界数据中包含的异常和嘈杂标签等挑战，可以提高当前 Transformers 在各种经验设置中的准确性。

    Jun, 2022

  • 应用生成预训练自回归转换器图神经网络分析和发现新型蛋白质

    利用基于语言模型的灵活深度学习策略，基于一个完全基于提示的模型，将 transformer 和图卷积架构集成到因果多头图机制中，实现一个生成预训练模型，用于预测蛋白质的二级结构内容、蛋白质可溶性和蛋白质测序等任务，并可用于设计具有这些特性的蛋白质，这个模型展现了多任务和协同作用的应用价值。

    May, 2023