Aug, 2020

BUT-FIT 参加 SemEval-2020 任务 4：多语言常识

PDF
TL;DR本文描述了 BUT-FIT 团队在 SemEval 2020 任务 4（常识验证和解释）中的工作，涉及三个子任务：A、B、C。其中，在子任务 A 和 B 中，我们的提交基于预训练语言表示模型和数据增强。我们尝试了使用多语言模型和机器翻译数据集或翻译模型输入来解决另一种语言（捷克语）的任务。在子任务 C 中，我们的提交基于预训练序列到序列模型，排名第一。我们还对所有子任务进行了误差和数据集分析，并提出了我们的发现。
semeval 2020 task 4pretrained language representation modelsmachine translationsequence-to-sequence modelerror analysis
发现论文，激发创造
  • SemEval-2020 任务 5 中的 BUT-FIT：使用深度预训练语言表示模型自动检测虚拟语气陈述

    本论文介绍了 BUT-FIT 在 SemEval-2020 任务 5 中的提交，即对语言中的因果推理进行建模，包括检测逆事实是否存在，以及从文本中提取逆事实的前因后果部分。研究者们针对语言表示模型进行了实验，结果表明 RoBERTa 能够在两个子任务中表现出色。最终，BUT-FIT 在第二个子任务 “逆事实前因后果提取” 中获得了第一名，并在 “逆事实检测” 中排名第二。

    Jul, 2020

  • KInITVeraAI 在 SemEval-2023 任务 3 中的表现：简单而强大的多语言微调用于说服技巧检测

    本文提出了在 SemEval 2023 任务 3 的子任务 3 中检测说服技巧的最佳解决方案，主要是通过细调预训练的基于 Transformer 的语言模型来处理多语言输入数据和多个预测标签，该方案使用大型的跨语言模型（XLM-RoBERTa 大型模型）在所有输入数据上联合训练，而且针对已知语言和未知语言分别设置合理的置信度阈值，最终在 9 种语言中的 6 种语言上（包括两个未知语言）表现最优秀并取得了高度竞争的结果。

    Apr, 2023

  • 机器翻译鲁棒性首次共享任务结果

    该论文介绍了首个旨在提高机器翻译鲁棒性的共享任务的研究成果，共有 11 个团队提交了 23 个系统，人工评估和自动评估 (BLEU) 均显示很高的相关性，系统均有大幅度的改进，最佳系统较基准系统提高了 22.33 个 BLEU 分值。

    Jun, 2019

  • 学习评估英语之外的翻译：BLEURT 参加 WMT 评估 2020 共享任务

    本文介绍了我们在 WMT 2020 Metrics Shared Task 中的贡献，通过扩展 BLEURT 度量标准评估 14 种语言对以及 4 种 ' 零样本 ' 语言对，针对英德语言对结合 BLEURT 和 YiSi 的预测结果进行性能增强，实验证据表明模型在 WMT Metrics 2019 Shared Task 中取得了有竞争力的结果，并展示了其在 2020 年版中的潜力。

    Oct, 2020

  • 香港中文大学参加 SemEval-2020 任务 4：基于多任务学习的常识解释、推理和预测

    本文提出了一种基于 BERT 模型架构和多任务学习的 “解释，推理和预测” 系统，用于解决 SemEval 2020（通识验证和解释）的子任务，包括通识的验证、推理和解释。该系统受通识认知研究启发，首先对句子的理解和推理做出解释，然后通过多任务学习来选择一条制约语句是否合理，最终在评估中取得了不错的效果。

    Jun, 2020

  • QUST 团队参加 SemEval-2024 任务 8：检测人工智能生成文本的单语和多语方法的综合研究

    本文介绍了 QUST 团队参与 SemEval 2024 任务 8 的研究，通过数据增强和清洗来提高模型训练效率和准确性，评估了传统的深度学习方法、多尺度正负未标记框架（MPU）、微调、适配器和集成方法，并选择了在单语任务中准确性最高的模型，在子任务 A 和 B 中进行评估。最终模型构建采用了将微调与 MPU 相结合的堆叠集成方法。我们的系统在多语言设置下的子任务 A 官方测试集中获得第八名（准确性得分第 13 名），我们在此链接发布了系统代码。

    Feb, 2024

  • UMBCLU 在 SemEval-2024 Task 1A 和 1C 的文本语义相关性研究：使用和不使用机器翻译

    使用大型语言模型，开发了针对非洲和亚洲语言的语义文本相关性模型 TranSem，并在 SemEval-2024 任务 1 中取得了不错的成绩。

    Feb, 2024

  • 2023 年 MRL 多语言多任务信息检索共享任务 CUNI 提交

    我们提出了查理斯大学关于 MRL~2023 多语言多任务信息检索的系统。共享任务的目标是为多个代表性不足的语言开发命名实体识别和问题回答系统。我们针对两个子任务的解决方案都依赖于翻译 - 测试方法。首先，我们使用多语言机器翻译模型将无标签的示例转化为英文。然后，我们使用强大的任务特定模型对翻译后的数据进行推断。最后，我们将标记数据投射回原始语言。为了保持原始语言中推断标记的正确位置，我们提出了一种基于标签敏感翻译模型评分候选位置的方法。在两种情况下，我们尝试在翻译后的数据上微调分类模型。然而，由于开发数据和共享任务验证和测试集之间的领域不匹配，微调模型无法超越我们的基准线。

    Oct, 2023

  • SemEval-2020 任务 4：常识验证与解释

    本文介绍了 SemEval-2020 任务 4，Commonsense Validation and Explanation (ComVE)，该任务包括三个子任务，旨在评估一个系统能否区分人类可以理解的自然语言语句和不可理解的语句，并提供解释。本任务吸引了 39 个团队参与其中，对于 A、B 两个子任务，排名靠前的系统的表现与人类相当接近，但对于 C 子任务，系统和人类之间仍存在较大差距。

    Jul, 2020

  • SemEval-2023 任务 3 的英国谢菲尔德 VeraAI 团队：新闻体裁、主题和说服技巧分类的单语和多语方法

    研究使用多语言集成模型，针对 SemEval-2023 任务 3：在在线新闻中检测类别、框架和说服技巧。在三个子任务中，使用 RoBERTa 和 mBERT 等方法，分别在不同语言中获得前几名的结果。

    Mar, 2023