Feb, 2022

CALCS 2021 共享任务：用于混合语言数据的机器翻译

PDF
TL;DR本文关注代码切换社交媒体数据的机器翻译，在监督和非监督环境下提供了英语 - 印地语 - 英语（英 - 汉格利什）、英语 - 西班牙语 - 英语（英 - 西班格利什）和英语 - 现代标准阿拉伯语 - 埃及阿拉伯语（英 - 埃语）的语言对，分享了共同创作语言评估数据时的见解和挑战，并为共享任务中的所有语言提供了基线。在共享任务的排行榜中，共有来自 5 个不同团队的 12 个系统提交。其中最佳表现分别为英语到印地语的 12.67% BLEU 分数和现代标准阿拉伯语 - 埃及阿拉伯语到英语的 25.72% BLEU 分数。
发现论文，激发创造
  • 代码交替数据中语言识别第二次共享任务概览

    本研究概述了关于在混合数据中进行语言鉴别第二次分享式任务的总结。我们发现，多种语言之间的语言鉴别比较困难；今年的系统整体表现优于上一个共享任务的系统，这表明该领域的技术正在不断进步。

    Sep, 2019

  • 从机器翻译到代码转换：生成高质量的混合语言文本

    本文研究如何用神经机器翻译模型生成印地语 - 英语混合语种句子。通过预训练和使用合成数据来提高模型性能，生成的文本可用于数据增强，提高了语言模型任务和自然语言推理任务的性能，人工评估和客观指标的结果展现出了接近或优于印地语为母语的人群工作者生成的混合语种文本。

    Jul, 2021

  • 研究混合代码的现代标准阿拉伯语 - 埃及到英语的机器翻译

    本文研究在语言混合条件下，使用先前训练好的神经机器翻译模型将混杂有标准阿拉伯语和埃及阿拉伯语的文本翻译为英语，并在该领域的共享任务中获得最高评价。

    May, 2021

  • 爱丁堡大学 WMT22 杂语共享任务的提交（MixMT）

    该研究旨在解决低资源条件下代码混合翻译的问题，在数据生成和典藏方面投入了大量精力，通过限制解码效果得出最佳翻译结果，使用现有的机器翻译模型和对齐增强的预训练技术进行探索，最终实现了对应子任务最佳表现。

    Oct, 2022

  • CALCS 2018 共享任务：混合语言数据中的命名实体识别概述

    本文重点研究了语言代码转换下社交媒体上的命名实体识别 (NER) 问题，并将其分为两个子任务，分别针对英语 - 西班牙语 (ENG-SPA) 和现代标准阿拉伯语 - 埃及语 (MSA-EGY) 语言对。使用 Twitter 数据和 9 种实体类型建立了一个新的数据集，用于 code-switched NER 基准测试。最终的比赛得分分别为 63.76% 和 71.61%。本文还讨论了参与者提交方案中最常见的挑战。

    Jun, 2019

  • 探索文本到文本变换器的使用，实现英语到印地语机器翻译的合成混合代码技术

    本研究尝试解决单语言和混合编码语言之间的翻译问题，针对单语英文到 Hinglish 的转换，我们提出了多种模型，其中使用事先训练的 mT5 和 mBART Transformer-based 编码器 - 解码器模型表现良好。同时，我们还提出了一种生成混合编码文本的无依存方法，并采用课程学习方法来提高语言模型性能。在不同的条件下，我们发现综合考虑有监督和无监督方式的生成代码混合技术竞争力强，在英语 - Hinglish 官方共享任务中我们的模型效果最佳。

    May, 2021

  • 跨语言脚本转化与对齐：用于混合编码数据的情感检测

    本研究提出了一种跨语言脚本知识共享架构，利用交叉关注和语言脚本的对齐来生成更好的文本表示，实验证明了该方法的有效性，并通过模型可解释性技术解释了语言特定表示之间的知识共享。

    Feb, 2024

  • 基于大型预训练模型的流畅翻译 ——MixMT 2022 SIT

    本论文介绍了史蒂文斯理工学院提交的 WMT 2022 共享任务：混合代码机器翻译并针对该任务的两个子任务的技术改进，包括采用大型预训练多语言 NMT 模型和领域内数据集以及反向翻译和集成技术等，该系统取得了子任务 2 上的第一名和子任务 1 上的第一和第三名。

    Oct, 2022

  • Gui at MixMT 2022: 英印混杂数据的机器翻译方法

    本文讨论了在 WMT 2022 共享任务中使用 mBART 进行处理特殊预处理和后处理（从 Devanagari 到 Roman 的音译），以解决单语到机器混合翻译的任务，并讨论了针对机器混合 Hinglish 到单语英语的翻译实验。

    Oct, 2022

  • El Volumen Louder Por Favor: 任务导向的语义解析中的语码转换

    本研究的重点在于 Spanglish，提出了两种数据增强方法解决 CS 样本不足问题，结合少样本的情况，使零样本和全数据的准确度差距缩小了三分之二。

    Jan, 2021