Feb, 2024

QUST 团队参加 SemEval-2024 任务 8：检测人工智能生成文本的单语和多语方法的综合研究

PDF
TL;DR本文介绍了 QUST 团队参与 SemEval 2024 任务 8 的研究，通过数据增强和清洗来提高模型训练效率和准确性，评估了传统的深度学习方法、多尺度正负未标记框架（MPU）、微调、适配器和集成方法，并选择了在单语任务中准确性最高的模型，在子任务 A 和 B 中进行评估。最终模型构建采用了将微调与 MPU 相结合的堆叠集成方法。我们的系统在多语言设置下的子任务 A 官方测试集中获得第八名（准确性得分第 13 名），我们在此链接发布了系统代码。
task 8 semeval 2024data augmentationdeep learning methodsmultiscale positive-unlabeled frameworkensemble methods
发现论文，激发创造
  • QUST 参赛队在 SemEval-2023 任务三中：检测在线新闻体裁、框架和说服技巧的单语和多语方法的综合研究

    这篇文章讲述了 QUST 团队参与 SemEval2023 任务 3 的情况，使用多语言模型并结合类权重和样本权重进行 fine-tuning，采用任务不相关和任务相关的两种微调策略，在 10 倍交叉验证下，多语言方法表现优于单语言方法，在子任务 1 的意大利语和西班牙语（零 - shot）方面取得第二名。

    Apr, 2023

  • KInIT 参加 SemEval-2024 任务 8：用于多语言机器生成文本检测的细调 LLMs

    SemEval-2024 任务 8 专注于多产生器、多领域和多语言黑盒机器生成文本检测，并应用语言识别和参数高效微调小型 LLM 进行文本分类，通过每种语言分类阈值校准将微调模型预测与统计检测指标相结合，提高系统检测性能的泛化能力，我们的方案取得了竞争力的结果，在第四名，仅比冠军低 1 个百分点。

    Feb, 2024

  • SemEval-2024 任务 8：多领域机器生成文本检测技术的综合分析

    本论文介绍了我们在 SemEval2024 Task8 中用于检测跨各个领域的机器生成文本的方法，包括统计、神经网络和预训练模型方法，并通过深入的错误分析评估了这些方法的有效性。在单语和多语境下，我们的方法在子任务 A 单语上获得 86.9％的准确率，在子任务 B 上获得 83.7％的准确率。此外，我们还强调了未来研究中的挑战和重要因素。

    Mar, 2024

  • SemEval-2024 任务 8：多领域、多模型和多语种机器生成文本检测

    SemEval-2024 Task 8 的主要发现是多生成器、多领域和多语言的机器生成文本检测。

    Apr, 2024

  • 阿里巴巴 - 翻译 2022 WMT 质量评估共享任务中国提交

    本研究使用 UniTE 框架，通过预训练语言模型的三种输入格式进行训练，并采用数据修剪和评分规范化策略来减小预训练和微调之间的差距。使用了过去多年的 WMT 比赛的 Direct Assessment 和 Multidimensional Quality Metrics 数据。最终将两个 UniTE 模型（XLM-R 和 InfoXLM）的预测进行集成，取得了在多语言和英俄设置中的第一名以及在英德和中英设置中的第二名的表现，表明了相对强的性能。

    Oct, 2022

  • UPB 在 IberLEF-2023 AuTexTification 中的使用：使用 Transformer 集成检测机器生成的文本

    该研究论文描述了 UPB 团队在 IberLEF-2023 的 AuTexTification 共享任务中提交的解决方案，主要使用基于 Transformer 的深度学习模型以及多任务学习等训练技术，最佳模型在英语和西班牙语数据集上分别达到了 66.63% 和 67.10% 的宏 F1 分数。

    Aug, 2023

  • KInITVeraAI 在 SemEval-2023 任务 3 中的表现：简单而强大的多语言微调用于说服技巧检测

    本文提出了在 SemEval 2023 任务 3 的子任务 3 中检测说服技巧的最佳解决方案，主要是通过细调预训练的基于 Transformer 的语言模型来处理多语言输入数据和多个预测标签，该方案使用大型的跨语言模型（XLM-RoBERTa 大型模型）在所有输入数据上联合训练，而且针对已知语言和未知语言分别设置合理的置信度阈值，最终在 9 种语言中的 6 种语言上（包括两个未知语言）表现最优秀并取得了高度竞争的结果。

    Apr, 2023

  • SemEval-2023 任务 3 的英国谢菲尔德 VeraAI 团队：新闻体裁、主题和说服技巧分类的单语和多语方法

    研究使用多语言集成模型，针对 SemEval-2023 任务 3：在在线新闻中检测类别、框架和说服技巧。在三个子任务中，使用 RoBERTa 和 mBERT 等方法，分别在不同语言中获得前几名的结果。

    Mar, 2023

  • 2023 年 SurreyAI 质量评估共享任务提交

    本研究描述了 SurreyAI 团队在 WMT23 的句子级直接评估共享任务中采用的方法，该方法在 TransQuest 框架的基础上利用自编码器预训练语言模型构建 MonoTransQuest 架构，并使用单一和集合设置。通过使用斯皮尔曼和皮尔逊相关系数评估机器预测质量分数与人工判断之间的关系，对 5 个语言对（英古吉拉特语、英印地语、英马拉地语、英泰米尔语和英泰卢固语）进行了评估，其中 MonoTQ-InfoXLM-large 方法在大多数语言对中显著改进了基线，并成为一种强大的策略。

    Dec, 2023

  • BUT-FIT 参加 SemEval-2020 任务 4：多语言常识

    本文描述了 BUT-FIT 团队在 SemEval 2020 任务 4（常识验证和解释）中的工作，涉及三个子任务：A、B、C。其中，在子任务 A 和 B 中，我们的提交基于预训练语言表示模型和数据增强。我们尝试了使用多语言模型和机器翻译数据集或翻译模型输入来解决另一种语言（捷克语）的任务。在子任务 C 中，我们的提交基于预训练序列到序列模型，排名第一。我们还对所有子任务进行了误差和数据集分析，并提出了我们的发现。

    Aug, 2020