ACLFeb, 2024

基于同源 Transformer 的自动同源检测作为有监督的链接预测任务

PDF
TL;DR基于转换器的架构用于自动认知检测任务，在一定程度的监督下，该方法比现有方法表现更好，证明了利用标记信息的效果，并且通过接受多个序列对齐作为输入和具有链接预测头的端到端架构可以节省大量计算时间并同时产生更好的性能。
发现论文，激发创造
  • 自动音韵重构和同源语反射预测的认知变换器

    我们将蛋白质语言模型 MSA Transformer（多序列比对变换器）应用于自动语音演变重建问题，命名为同源变换器，并在同源反射预测任务中得出优于现有模型的结果，特别是在掩码词预测任务的预训练下。

    Oct, 2023

  • 利用密切相关语言的形态学知识进行弱监督的低资源语言深度同源检测框架

    为了解决资源匮乏语言中的迁移学习问题，本研究提出了一种基于形态学知识的跨语言弱监督深度同源词检测框架，通过训练编码器获得语言的形态学知识，并将此知识转移至密切相关的语言以进行无监督和弱监督的同源词检测。在不同的语系上进行了实验，得到了显著的改进和超越最先进的监督和无监督方法的结果。该模型对于任何语系的各种语言都具有扩展性，因为它克服了对同源词对进行训练注释的要求。

    Nov, 2023

  • 利用跨语言特征提高低资源语言同源词检测的效果

    使用跨语言词向量检测印度 14 种语言的同源词，通过知识图谱生成上下文特征表示以提高同源词检测方法，并在 12 种印度语言和 2 种新语言上评估此方法，获得最高 18% 的 F-score 和 2.76 BLEU 的 NMT 改进，最后公开代码和数据集。

    Dec, 2021

  • 认知感知同源词检测

    本文提出了一种新的方法，利用人类阅读者的凝视行为提取认知特征，用于自动检测同源词，并通过使用搜集到的和预测的视线行为数据，证明该方法可以帮助提高同源词检测任务的性能提高 10%，相比之前的方法预测视线行为数据的性能提高了 12%。

    Dec, 2021

  • 半监督神经原语重构

    提出了一种半监督历史重建任务，其中模型只在少量有标记数据（原型形式的同源词集）和大量无标记数据（无原型形式的同源词集）上进行训练，并且通过提出的神经架构（DPD-BiReconstructor）能够利用无标记同源词集，在这一新任务上超越强大的半监督基准模型。

    Jun, 2024

  • 序列切分词汇的对齐分析以提高自动同源词检测

    本篇论文利用信息检索中的排名函数，应用于同源检测，针对同源检测的难点，使用语言模型平滑方法和位置分割与错误建模技术，相比其他基线方法在分类和预测中表现更佳。

    Nov, 2018

  • 面向多语言神经翻译的同源词意感知形态分割

    Aalto 大学使用基于 Transformer 模型的系统，通过引入跨语言的 Cognate Morfessor 来改进英语到芬兰语和爱沙尼亚语翻译的一致性，尤其是对于爱沙尼亚语这种资源相对较少的语言，同时在 WMT18 新闻翻译中取得了好的结果。

    Aug, 2018

  • 使用图感知变压器进行多语言词汇搭配的提取和分类

    本文将序列标记 BERT 模型与图形感知变压器架构相结合，用于识别语境中的词汇搭配。实验结果表明，显式地编码句法依存结构对模型性能有帮助，并提供英语、西班牙语和法语词汇搭配类型区别的见解。

    May, 2022

  • 修剪语音对齐改善从多语言词汇列表中推断音对应模式

    本研究提出了基于生物进化中所采用的修剪技术的音位对齐修剪工作流程来改进语音拟音同源语识别技术，经实验证明这种方法可以大幅度提升同源识别的一致性，增加高频的音位对应规律和通用的同源单词的比例。

    Mar, 2023

  • 多语言原型模型在自然语言理解任务中的跨语言可迁移性研究

    本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

    Jul, 2022