Oct, 2023

通过单词的听觉信息提升混合编码文本处理能力

HTML
PDF
TL;DR通过使用来自SOUNDEX的单词的听觉信息，我们提出了一种处理混合编码文本的语言模型的有效方法（SAMLM），该方法包括基于掩码语言建模的预训练步骤，通过实验验证了SAMLM在处理混合编码任务中的鲁棒性和分类结果的改进。同时，我们使用SHAP进行解释，阐明了通过SAMLM引入的听觉特征如何有效地处理混合编码文本并增加了对对抗攻击的鲁棒性。
发现论文，激发创造
  • kk2018 参加 SemEval-2020 任务9：针对混合编码的情感分类进行对抗性训练

    本篇论文旨在探究作为一种语言现象的码代码搭配和混合情感分类在领域转移学习和多语言模型中的应用，通过测试ERNIE单一语言模型和对抗训练得到了强的基线和对2020 SemEval竞赛中印度-英语情感分类任务第一名的表现。

    Sep, 2020

  • 芝麻街上的混合语言: 对抗性多语种者的黎明

    本文介绍两种针对多语言模型的黑盒对抗攻击和一种高效的对抗性训练方案，以提高多语言模型处理混合语言的表现。短语级攻击的成功率为89.75％，将XLM-R-large的平均准确性从79.85降至8.18。

    Mar, 2021

  • 论攻击性语言分类器的鲁棒性

    该研究对社交媒体平台上的机器学习型进攻性语言分类器的鲁棒性做出了系统的分析，并证明了具有贪婪和注意力机制的词汇选择和上下文感知嵌入的攻击可将这些分类器的准确性降低50%以上，同时还能保持修改后文本的可读性和含义。

    Mar, 2022

  • 利用分层Transformer深入理解混合编码语言语义

    采用分层变压器的架构（HIT）学习混合代码语言的语义和语法结构，在17个数据集和9个自然语言处理任务中，HIT模型都表现出超越最先进的代码混合表示学习和多语言模型的性能。

    Apr, 2022

  • PreCogIIITH在HinglishEval的表现：利用代码混合指标和语言模型嵌入估计代码混合的质量

    本文研究语言混合的机器生成问题，在低资源情况下基于评价因素预测合成质量，以应对数据扩充的需求。

    Jun, 2022

  • 预训练BERT模型在印地语-英语混合数据中的比较研究

    本研究专注于解决“Code Mixed”现象在低资源的印地语-英语多语混合情况下对自然语言处理所带来的问题，并通过使用预训练的 Transformer-based Models 模型，重点比较分析了 HingBERT、mBERT、AlBERT、BERT 和 RoBERTa 等不同模型的性能。研究结果显示，HingBERT 模型在实际“Code Mixed”文本训练的情况下取得了最优秀的表现与较大的性能提升。

    May, 2023

  • 利用语言识别提升混合编码文本分类

    本研究旨在通过实验语言增强方法来提高基于BERT的模型在低资源Code-Mixed Hindi-English数据集上的性能，并测试了不同的指标，如准确性、精确度、召回率和F1分数，以证明语言增强的重要性，以应用于文本情感分析、仇恨言论检测和情感检测等任务

    Jun, 2023

  • OffMix-3L: 孟加拉文-英文-印地文混合语言中用于冒犯性语言识别的新数据集

    本文介绍了OffMix-3L，这是一个包含来自三种不同语言的混合代码数据的新颖的冒犯性语言识别数据集。我们在这个数据集上尝试了几种模型，并观察到BanglishBERT在其他基于Transformer的模型和GPT-3.5之上表现出色。

    Oct, 2023

  • 代码混合情感和仇恨言论预测

    研究发现，针对社交媒体文本中的混合编码文本进行专门设计的双语模型和多语模型表现最佳，而庞大生成模型则不具有竞争力。对于情感分析和辱骂语言检测等任务，这些模型在混合编码数据上的表现稍微优于非混合编码数据。

    May, 2024

  • 通过本地样本混合改善混合语言仇恨检测：印地语-英语混合场景的案例研究

    在这篇论文中，我们通过严格的实证实验填补了多语言语言模型在混合代码环境中对恶意检测的评估不足，并观察到加入少量本地恶意样本以及仅使用本地样本对于提高混合代码恶意检测的效果以及可视化注意力对于定位表达恶意意图的词语在混合代码语境中是有帮助的。

    May, 2024