Jun, 2021

多语社会中代码混合自然语言处理所面临的挑战和考虑

PDF
TL;DR讨论多语社会中 NLP 研究的现状、局限与未来的发展。提出英汉混合语言作为案例，探究五个涉及到社会福祉的应用领域：危机管理、医疗保健、政治宣传、假新闻与仇恨言论等。同时，提出了未来多语言 NLP 应用中可能涉及到的数据集、模型和工具。
multilingualismnlp researchcode-mixingcrisis managementsocietal good
发现论文，激发创造
  • 代码混合情感和仇恨言论预测

    研究发现，针对社交媒体文本中的混合编码文本进行专门设计的双语模型和多语模型表现最佳，而庞大生成模型则不具有竞争力。对于情感分析和辱骂语言检测等任务，这些模型在混合编码数据上的表现稍微优于非混合编码数据。

    May, 2024

  • 代码交替的计算处理挑战

    本文探讨了在非规范化的混合两种或更多语言的多语言数据上进行自然语言处理的挑战，重点关注语言识别、依存分析和机器翻译等 NLP 任务的关键问题。

    Oct, 2016

  • 码 - 语混合话语与语言处理的概述

    本篇论文综述了多语言社区中通用的一种交际现象 —— 语码转换，并且概述了计算机语言处理的方法。同时该文阐述了处理语码转换的语音和自然语言处理在建立智能代理和与多语言社区用户的交互系统中的重要作用，发现语码转换数据和资源的稀缺性，并列出了可利用的各种编码语言对及相应的自然语言处理任务。最后，概述了语码转换在各种语音和自然语言处理应用中的研究，并对该领域的未来方向和问题进行了总结。

    Mar, 2019

  • 自动规范混合语言社交媒体文本中的单词变体

    本文研究了如何通过利用词的上下文特性和分布式表征来处理混合代码数据中单词的不同变体，并表明这种预处理方式可以提高最先进的词性标注和情感分析任务的性能。

    Apr, 2018

  • 跨文化 NLP 的挑战和策略

    该研究提出了一个系统化的框架，旨在更好地服务于使用自然语言处理系统的用户。该框架考虑了语言和文化之间的区别，以及跨文化和多元文化对 NLP 的影响，并调研了现有的和潜在的策略。

    Mar, 2022

  • 利用语言识别提升混合编码文本分类

    本研究旨在通过实验语言增强方法来提高基于 BERT 的模型在低资源 Code-Mixed Hindi-English 数据集上的性能，并测试了不同的指标，如准确性、精确度、召回率和 F1 分数，以证明语言增强的重要性，以应用于文本情感分析、仇恨言论检测和情感检测等任务

    Jun, 2023

  • 使用多通道神经网络和上下文捕捉进行代码混合数据的语言识别

    本研究通过实现多通道神经网络结合 CNN 和 LSTM 的方法和 Bi-LSTM-CRF 上下文捕捉模块，成功实现了对混合代码数据的单词级别的语言识别，准确率高达 93.28％和 93.32％。

    Aug, 2018

  • 引导大型语言模型生成混合文本：以东南亚语言为例

    通过零 - shot 的方法，我们探索使用大型语言模型 ChatGPT，用于生成东南亚五种语言（印度尼西亚语、马来语、汉语、塔加洛语、越南语）和混杂语 Singlish 的混杂数据，结果表明 ChatGPT 显示了最大的潜力，并且 InstructGPT 的表现也值得我们关注，但由于单词选择错误而导致语义不准确。由此我们呼吁在类似的低资源 NLP 情境中谨慎应用类似技术。

    Mar, 2023

  • SentMix-3L: 面向情感分析的孟加拉 - 英语 - 印地语混合代码数据集

    本论文介绍了 SentMix-3L，一个包含三种语言（孟加拉语、英语和印地语）的代码混合情感分析数据集，并通过对 SentMix-3L 的全面评估表明，采用 GPT-3.5 的零次提示能够在 SentMix-3L 上胜过所有基于变压器的模型。

    Oct, 2023

  • 基于多任务预训练和迁移学习的简单而有效的语言代码切换识别

    本文研究如何使用深度学习方法提高混合语言识别的准确性，提出了包括使用 Residual CNN+GRU 模型，以及使用自动语音识别（ASR）作为辅助任务的多任务预训练方法等两种有效方法，并且通过使用单语语料库以及数据上采样等方法来创造真正的混合语言数据集，最终实验结果显示，本文提出的模型在英汉混合语言语音识别准确度上超过了之前的基准模型约 55.3%。

    May, 2023