Mar, 2019

码 - 语混合话语与语言处理的概述

PDF
TL;DR本篇论文综述了多语言社区中通用的一种交际现象 —— 语码转换，并且概述了计算机语言处理的方法。同时该文阐述了处理语码转换的语音和自然语言处理在建立智能代理和与多语言社区用户的交互系统中的重要作用，发现语码转换数据和资源的稀缺性，并列出了可利用的各种编码语言对及相应的自然语言处理任务。最后，概述了语码转换在各种语音和自然语言处理应用中的研究，并对该领域的未来方向和问题进行了总结。
code-switchingmultilingual communitiescomputational approachesnatural language processingintelligent agents
发现论文，激发创造
  • 代码交替的计算处理挑战

    本文探讨了在非规范化的混合两种或更多语言的多语言数据上进行自然语言处理的挑战，重点关注语言识别、依存分析和机器翻译等 NLP 任务的关键问题。

    Oct, 2016

  • 自然语言处理中代码切换研究的几十年进展：趋势和挑战的系统调查

    本文针对语言学与计算机科学领域的交叉学科问题 —— 代码切换现象进行了系统性的研究综述，归纳了过去几十年的研究进展、任务挑战、学术趋势和未来研究方向等。

    Dec, 2022

  • 混码语调查：语言技术的语言和社会观点

    本文展示了针对多种语言的数据的分析在计算语言学界越来越受欢迎。 作者提供代码交换（C-S）的调查，涵盖了语言学文献中的关键问题，并从欧洲和印度等高度多语言区域的文献中着重讨论 C-S 结构和功能模式的概述。 此外，作者还讨论了如何使大规模语言模型失败以代表各种 C-S 类型，以及如何缺乏跨多语言情况和 C-S 类型导致缺乏强大的评估基准以及覆盖 C-S sociolinguistic 方面的端到端系统。

    Jan, 2023

  • 混码探针展示预训练模型如何在混码文本上泛化

    本研究通过对预训练语言模型处理混合语言文本的能力、模型捕捉混合语言文本的结构信息的变化性以及语义信息表达的一致性的研究，揭示了预训练语言模型在泛化到混合语言文本上的有效性，从而为这些模型在处理混合语言资源方面的能力提供了洞察。

    Mar, 2024

  • 启用代码交替机器翻译的检查和策略

    本研究探讨了多语言神经机器翻译模型处理语种混杂文本的能力，提出了一种检测方法和简单有效的数据增强方法，同时通过对注意力模块的分析证明了这些方法的有效性。

    Oct, 2022

  • 语音转录中代码切换动机的自动识别

    该研究建立了一个新的跨语言切换数据集，准确地识别出多语言演讲者在日常语言中使用广泛的跨语言切换动机，并证明了该系统适用于新语言配对，使用该注释方案的交叉语言应用性达到了 66％的准确度。

    Nov, 2022

  • 代码切换语言识别更加困难

    通过建立代码切换语料库的应用，我们研究了代码切换语言识别，考虑到多种语言和较简单的模型架构以实现更快速推理。我们将任务重新定义为句子级多标签标注问题，以使其更易处理，并提出反映所需性能的度量指标。我们通过实证实现表明当前的方法都不足够，并在这一领域提供未来工作的建议。

    Feb, 2024

  • 多语社会中代码混合自然语言处理所面临的挑战和考虑

    讨论多语社会中 NLP 研究的现状、局限与未来的发展。提出英汉混合语言作为案例，探究五个涉及到社会福祉的应用领域：危机管理、医疗保健、政治宣传、假新闻与仇恨言论等。同时，提出了未来多语言 NLP 应用中可能涉及到的数据集、模型和工具。

    Jun, 2021

  • 基于多任务预训练和迁移学习的简单而有效的语言代码切换识别

    本文研究如何使用深度学习方法提高混合语言识别的准确性，提出了包括使用 Residual CNN+GRU 模型，以及使用自动语音识别（ASR）作为辅助任务的多任务预训练方法等两种有效方法，并且通过使用单语语料库以及数据上采样等方法来创造真正的混合语言数据集，最终实验结果显示，本文提出的模型在英汉混合语言语音识别准确度上超过了之前的基准模型约 55.3%。

    May, 2023

  • NLP-CIC 在 SemEval-2020 任务 9 中使用简单深度学习分类器分析混合语言情感

    本文通过使用卷积神经网络模型来预测西班牙语和英语混合推文的情感，取得了 F1-score 为 0.71 的成绩，并分析了模型的能力和代码切换语境下分类情感的重要困难。

    Sep, 2020