Sep, 2023

CONFLATOR: 基于切换点的旋转位置编码在混合代码语言建模中的应用

PDF
TL;DRCONFLATOR 介绍了一种基于神经语言建模的混合编码语言的方法，使用更智能的位置编码强调切换点，并在代码混合的 Hindi 和英语（Hinglish）上的情感分析和机器翻译任务中胜过最先进的方法。
code-mixingneural language modelspositional encodingswitching pointsconflator
发现论文，激发创造
  • PESTO：基于切换点的动态和相对位置编码用于混合语言

    这篇论文研究了利用基于切换点的位置编码技术来处理印地英文（Hinglish）等混合语言的 NLP 模型，发现位置编码可以是一种有效的训练位置敏感型 CM 文本的语言模型的方法，虽然结果只略好于 SOTA。

    Nov, 2021

  • 使用连续动态模型为 Transformer 学习位置编码

    提出了一种新的位置信息编码方法，使用神经常微分方法对非循环模型（如 Transformer）进行编码，并证明在翻译和理解任务中，该编码方法与已有编码方法相比具有更好的性能。

    Mar, 2020

  • Transformer 的动态位置编码

    本研究提出了一种新的动态位置编码（DPE）方法，通过新的位置嵌入来纠正目标单词的位置信息，相较于传统 Transformers 在英德法意四种翻译任务中取得了显著的性能提升。

    Apr, 2022

  • 使用神经合成数据的混合语言模型来处理句子间的平行语言切换

    为了解决训练混合语言模型的困难，本研究提出了一种基于序列 - 序列模型及 copy 机制的新型训练方法，通过有限的混合语言数据和单语数据的并行翻译生成需要的混合语言数据，且无需对齐或分析，实现了良好的表现，并显著提高了末端自动语音识别。

    Sep, 2019

  • 从英语到混合语：利用强形态线索的迁移学习

    研究提出了一种基于 ELMo 模型和位置感知的关注机制的代码切换模型：CS-ELMo，它通过迁移学习将英语知识转移到不同的代码切换语言对（如尼泊尔语 - 英语，西班牙语 - 英语和印地语 - 英语），并在 NER 和 POS 标记等关键任务上显著优于其他模型。

    Sep, 2019

  • 语音识别和直接翻译的相对位置编码

    通过在自注意力网络中采用相对位置编码方案，我们成功地让 Transformer 模型适应了语音数据的分散分布特点，并在 Switchboard 基准测试中获得了最佳识别结果，也在 MuST-C 语音翻译基准测试中获得了最佳出版结果，并且我们的模型能够更好地利用合成数据，并适应语音翻译的变量句子分割质量。

    May, 2020

  • 利用链接方式增强上下文感知的神经机器翻译中的编码句子位置

    本研究采用 segement embeddings 帮助 Transformer 识别翻译串联中每个句子的位置，并通过比较不同的 segment embeddings 和提出的方法，发现除了在特定情况下，它们并不会对原始串联方法产生益处。

    Feb, 2023

  • 用卷积上下文来进行 ASR 的变压器

    本文提出了用卷积学习输入表示替换变形器的正弦位置嵌入，并阐述其在提供长程关系方面的优势和优化特点，最终实现了在无额外语言模型文本下，librispeech 测试中 4.7％和 12.9％的字错率。

    Apr, 2019

  • GLUECoS : 用于代码交替自然语言处理的评估基准

    在一个名为，GLUECoS, 的评估基准中，使用多语境上下文嵌入模型进行评估，评估基准包括领域从文本中识别、POS 标记、命名实体识别、情感分析、问答和一项新的代码交换任务的多个自然语言处理任务。我们使用跨语言和多语言模型在所有这些任务上展示结果，并在人工生成的代码交换数据上微调多语言模型，结果表明多语言模型可以进一步针对代码交换任务进行优化，即使多语言模型比跨语言模型表现显著好，但我们的结果表明，在大多数任务中，无论是跨语言还是多种语言，微调代码交换数据上的多语言模型效果最佳。

    Apr, 2020

  • 跨语言位置表示的自注意力

    本文使用跨语言位置表示法，将自注意力网络中的位置编码扩展为双语感知潜在结构，利用括号转换语法（BTG）基于重排序信息，以鼓励自注意力网络学习双语对角线对齐，并通过 WMT'14 英语⇒德语，WAT'17 日语⇒英语，WMT'17 中英互译任务的实验结果验证，显著且一致地改善了翻译质量。

    Apr, 2020