code-mixing | BriefGPT - AI 论文速递

关键词code-mixing

搜索结果 - 29

AAAI解读移民话语中的混合语 Code-Mixing 模式：Reddit 线上对话的自动检测与分析
借助迁移相关的社交媒体平台上的代码混合这一多语言演讲方式，我们提出了 “多语言代码混合文本的整体学习识别”(ELMICT) 的新方法，通过结合多个标记化器输出和预训练语言模型的集成学习技术，ELMICT 在识别各种语言和语境下的代码混合方面
PDF20 days ago
EmoMix-3L: 孟加拉 - 英 - 印度语情感检测的代码混合数据集
本文介绍了 EmoMix-3L，这是一个包含来自三种不同语言的代码混合数据的新颖多标签情感检测数据集。我们在 EmoMix-3L 上尝试了几种模型，并报告称 MuRIL 在该数据集上的表现优于其他模型。
PDF2 months ago
处理低资源语言任务的成本性能优化：使用商业 LLMs
降低大型语言模型在低资源语言的处理成本，同时确保预测和生成性能不受损失，通过考虑代码混合、翻译和音译等方式来减少 LLM 处理的标记数量，并通过广泛研究 15 种印度语言的 IndicXTREME 数据集来证明最佳交互策略可以将成本降低 9
PDF4 months ago
ACL协调混合对话：对话中基于个性的混合编码响应生成
该研究探讨了多语言混合对话中的回应生成问题，并介绍了一种利用从对话中无监督获取的大五人格特质来提高回应生成性能的新方法。实验结果表明，将人格融入对话背景可以显著增强生成回应的上下文相关性，并提高模型的整体性能。
PDF5 months ago
识别转写和混合编码的孟加拉语冒犯性语言
在这篇研究中，我们探讨了社交媒体上的冒犯性内容识别问题，特别关注多语社会中常见的音译和混合语言现象对自然语言处理系统的挑战。我们引入了一份包含 5000 条手动注释评论的音译孟加拉冒犯性语言数据集（TB-OLID），并在该数据集上对机器学习
PDF7 months ago
IndoRobusta：面向抗击多种混合代码的印度尼西亚本地语言的鲁棒性
对印尼语进行混合代码探索，介绍了 IndoRobusta 框架用于评估和提高混合代码的鲁棒性
PDF7 months ago
OffMix-3L: 孟加拉文 - 英文 - 印地文混合语言中用于冒犯性语言识别的新数据集
本文介绍了 OffMix-3L，这是一个包含来自三种不同语言的混合代码数据的新颖的冒犯性语言识别数据集。我们在这个数据集上尝试了几种模型，并观察到 BanglishBERT 在其他基于 Transformer 的模型和 GPT-3.5 之上
PDF8 months ago
SentMix-3L: 面向情感分析的孟加拉 - 英语 - 印地语混合代码数据集
本论文介绍了 SentMix-3L，一个包含三种语言（孟加拉语、英语和印地语）的代码混合情感分析数据集，并通过对 SentMix-3L 的全面评估表明，采用 GPT-3.5 的零次提示能够在 SentMix-3L 上胜过所有基于变压器的模型
PDF8 months ago
马拉地英语混合文本生成
该研究提出了一种用于生成马拉地语 - 英语混合文本的算法，并通过 Code Mixing Index（CMI）和 Degree of Code Mixing（DCM）指标进行评估，结果表明该算法能够生成有效和可理解的混合语句子，为多语社会中
PDF9 months ago
CONFLATOR: 基于切换点的旋转位置编码在混合代码语言建模中的应用
CONFLATOR 介绍了一种基于神经语言建模的混合编码语言的方法，使用更智能的位置编码强调切换点，并在代码混合的 Hindi 和英语（Hinglish）上的情感分析和机器翻译任务中胜过最先进的方法。
PDF10 months ago
面向个人的混合语言生成模型
通过发展一种基于个人意识的生成模型，该研究试图生成类似于现实生活中个体的混合语言文本，并且提出了一个重新校准生成的序列以模拟真实混合语言文本的对齐模块，以实现生成的混合语言文本在语义上更有意义和在语言上更有效。
PDF10 months ago
引导大型语言模型生成混合文本：以东南亚语言为例
通过零 - shot 的方法，我们探索使用大型语言模型 ChatGPT，用于生成东南亚五种语言（印度尼西亚语、马来语、汉语、塔加洛语、越南语）和混杂语 Singlish 的混杂数据，结果表明 ChatGPT 显示了最大的潜力，并且 Inst
PDFa year ago
EMNLP探索建立闽南语 - 普通话混合语料库的方法：以台湾福建话为例研究
本文介绍了一种构建闽南语 - 华语混合语言数据集的方法，并使用基于语言学的工具包提供了有效的闽南话词语分割方法。此外，针对代码混合情景，作者适应了 XLM 的训练，并发现通过语言学知识、规则和语言标签，模型展现了良好的混合语言翻译效果，并保
PDFa year ago
学习回答多语言和混合代码问题
本论文聚焦于在多语言环境下推进处理末端用户问题的 QA 技术，涉及多语性和混编等问题并提出了一种多文档利用的多跳问题生成技术，实验证明该方法可在 MQA、VQA 和语言生成等多个领域和语言中达到最先进的表现，是通用的，可用于提高 QA 系统
PDF2 years ago
EMNLPMixMT 2022 的混合语机器翻译领域课程
该研究介绍了一种用于多语言混合情境下机器翻译的方法，它包括多个领域的预训练和微调，和一种句子对齐目标。结果表明，在不同领域之间的切换会改善在较早训练时观察到的领域的性能，但会耗尽对其他领域的性能。采用策略性地分配不同领域数据进行连续训练能够
PDF2 years ago
PreCogIIITH 在 HinglishEval 的表现：利用代码混合指标和语言模型嵌入估计代码混合的质量
本文研究语言混合的机器生成问题，在低资源情况下基于评价因素预测合成质量，以应对数据扩充的需求。
PDF2 years ago
利用分层 Transformer 深入理解混合编码语言语义
采用分层变压器的架构（HIT）学习混合代码语言的语义和语法结构，在 17 个数据集和 9 个自然语言处理任务中，HIT 模型都表现出超越最先进的代码混合表示学习和多语言模型的性能。
PDF2 years ago
ACL不协调有多有效？对代码混合讽刺检测的影响
通过使用 fastText 学习的子词级别嵌入捕捉不协调的想法来解决混合语言和讽刺检测的联合问题。实证结果表明，我们提出的模型不仅可以在 10 倍的训练速度下使用更低的内存占用率，同时也可在混合语言英式印地语数据集上获得与预训练多语言模型相
PDF2 years ago
COLINGPrabhupadavani: 25 种语言的混合代码演讲翻译数据
介绍一份多语言混合口音语音翻译语料库 Prabhupadavani，该语料库包含 25 种语言的多种领域，94 小时的语音，可用于语音翻译和机器翻译任务。
PDF2 years ago
ACLMELM: 低资源命名实体识别的掩码实体语言建模数据增强
使用 MELM 作为一种新的数据增强框架，通过显式条件化于标签来预测掩码实体标记，从而为低资源 NER 生成高质量的增强数据，并通过与混合代码结合进一步提高了 MELM 的有效性，在单语，跨语言和多语言 NER 方面均取得了实验结果的显著改
PDF3 years ago