解读移民话语中的混合语 Code-Mixing 模式：Reddit 线上对话的自动检测与分析

AAAIJun, 2024

解读移民话语中的混合语 Code-Mixing 模式：Reddit 线上对话的自动检测与分析

Unraveling Code-Mixing Patterns in Migration Discourse: Automated Detection and Analysis of Online Conversations on Reddit

PDF

Fedor Vitiugin, Sunok Lee, Henna Paakki, Anastasiia Chizhikova, Nitin Sawhney

TL;DR借助迁移相关的社交媒体平台上的代码混合这一多语言演讲方式，我们提出了 “多语言代码混合文本的整体学习识别”(ELMICT) 的新方法，通过结合多个标记化器输出和预训练语言模型的集成学习技术，ELMICT 在识别各种语言和语境下的代码混合方面表现出高性能 (准确率 F1 大于 0.95)，特别是在跨语言零样本条件下 (平均准确率 F1 大于 0.70)。此外，利用 ELMICT 还可以分析与其他主题类别相比，迁移相关的线图上的代码混合的普遍性，从而揭示出移民社区关注的话题。我们的研究结果揭示了移民在社交媒体平台上采用的沟通策略，为开发包容性数字公共服务和对话系统提供了有益的启示。通过解决本研究提出的研究问题，我们有助于理解移民语言多样性，并为建设多元文化社会中建立信任的更有效工具铺平了道路。

Abstract

The surge in global migration patterns underscores the imperative of integrating migrants seamlessly into host communities, necessitating inclusive and trustworthy public services. Despite the Nordic countries' robust public sector infrastructure, recent immigrants often encounter barr

migration code-mixing social media digital public services linguistic diversity

发现论文，激发创造

代码混合情感和仇恨言论预测

研究发现，针对社交媒体文本中的混合编码文本进行专门设计的双语模型和多语模型表现最佳，而庞大生成模型则不具有竞争力。对于情感分析和辱骂语言检测等任务，这些模型在混合编码数据上的表现稍微优于非混合编码数据。

May, 2024

EmoMix-3L: 孟加拉 - 英 - 印度语情感检测的代码混合数据集

本文介绍了 EmoMix-3L，这是一个包含来自三种不同语言的代码混合数据的新颖多标签情感检测数据集。我们在 EmoMix-3L 上尝试了几种模型，并报告称 MuRIL 在该数据集上的表现优于其他模型。

May, 2024

多语社会中代码混合自然语言处理所面临的挑战和考虑

讨论多语社会中 NLP 研究的现状、局限与未来的发展。提出英汉混合语言作为案例，探究五个涉及到社会福祉的应用领域：危机管理、医疗保健、政治宣传、假新闻与仇恨言论等。同时，提出了未来多语言 NLP 应用中可能涉及到的数据集、模型和工具。

Jun, 2021

PreCogIIITH 在 HinglishEval 的表现：利用代码混合指标和语言模型嵌入估计代码混合的质量

本文研究语言混合的机器生成问题，在低资源情况下基于评价因素预测合成质量，以应对数据扩充的需求。

Jun, 2022

SentMix-3L: 面向情感分析的孟加拉 - 英语 - 印地语混合代码数据集

本论文介绍了 SentMix-3L，一个包含三种语言（孟加拉语、英语和印地语）的代码混合情感分析数据集，并通过对 SentMix-3L 的全面评估表明，采用 GPT-3.5 的零次提示能够在 SentMix-3L 上胜过所有基于变压器的模型。

Oct, 2023

利用语言识别提升混合编码文本分类

本研究旨在通过实验语言增强方法来提高基于 BERT 的模型在低资源 Code-Mixed Hindi-English 数据集上的性能，并测试了不同的指标，如准确性、精确度、召回率和 F1 分数，以证明语言增强的重要性，以应用于文本情感分析、仇恨言论检测和情感检测等任务

Jun, 2023

CodeSwitch-Reddit: 在线讨论论坛中多语言书写话语的探索

该研究介绍了一种新的、大规模和多样化的数据集，这个数据集是从 Reddit 的多个双语社区的主题帖中精选而来的书面混合语言产品，探讨了至今主要在口语语言背景下讨论的内容和风格、发言者的熟练程度等问题是否也能适用于书面语混合，该数据集可以进一步促进一系列研究和实际活动。

Aug, 2019

混合代碼響應的強響應代碼混合翻譯的生成和聯合學習

本文研究了混合编码（Hinglish 和 Bengalish）到英语的机器翻译问题，通过合成 Hinglish 到英语的平行语料库以及提出的鲁棒扰动联合训练模型（RCMT），并展示了 RCMT 在 Bengalish 到英语翻译上的零样例适应能力，通过定性和定量分析证明了 RCMT 在混合编码和鲁棒翻译方法上的优越性。

Mar, 2024

一种用于印地语 - 英语混合编码数据情感分析的集成模型

本研究提出了基于字符三元组 LSTM 模型和基于词元素的多项式朴素贝叶斯 (MNB) 模型的集成模型，用于识别印地语 - 英语 (Hi-En) 混合数据的情感极性，实验结果表明，相较于几个基准和其他基于深度学习的提出的方法，我们的方法在真实用户混合数据上取得了最先进的结果。

Jun, 2018

引导大型语言模型生成混合文本：以东南亚语言为例

通过零 - shot 的方法，我们探索使用大型语言模型 ChatGPT，用于生成东南亚五种语言（印度尼西亚语、马来语、汉语、塔加洛语、越南语）和混杂语 Singlish 的混杂数据，结果表明 ChatGPT 显示了最大的潜力，并且 InstructGPT 的表现也值得我们关注，但由于单词选择错误而导致语义不准确。由此我们呼吁在类似的低资源 NLP 情境中谨慎应用类似技术。

Mar, 2023