Apr, 2022

SemEval-2022 任务 7：使用 Transformer 和序数回归解决填空测试

PDF
TL;DR使用预先训练好的 transformer 作为骨干，该模型旨在解决多任务学习中的分类和排序任务，在 Wikihow 网站相关的指导文本中找到最佳占位符，采用两个序数回归组合来解决这个任务，使用该系统在 SemEval 2022 Task 7 中名列第 5 的排名和第 7 的分类子任务中。
semeval 2022multi-task learningtransformerordinal regressioncloze task
发现论文，激发创造
  • SemEval-2022 任务 7 中 X-PuDu: 基于模式感知集成的替换词检测任务预训练模型用于识别合理的澄清

    使用预先训练的替换词检测模型，结合模式感知集成方法，本文在 SemEval 2022 任务 7 中获得更佳的多分类和排序结果，实现了 68.90% 的准确率以及 0.8070 的斯皮尔曼等级相关分数，超过第二名的分数。

    Nov, 2022

  • SemEval-2022 第 7 任务：在教学文本中识别隐含和未明确短语的合理澄清

    在 SemEval-2022 任务 7 中，我们描述了一项共享任务，即对说明性文本中澄清信息的合理性进行评级。该任务的数据集包括手动澄清的操作指南，我们生成了替代的澄清信息，并收集了人类的合理性判断。参与系统的任务是自动确定相应背景下澄清信息的合理性。总共有 21 个参与者参加了该任务，最好的系统的准确率达到了 68.9%。本报告总结了来自 8 个团队的结果和发现以及他们的系统描述。最后，我们进行了额外的评估，结果显示顶级参与团队的预测可以以 75.2% 的准确率确定具有多个合理澄清信息的背景。

    Sep, 2023

  • AILS-NTUA 在 SemEval-2024 任务 9 中的表现：解决脑筋急转弯：基于 Transformer 的侧面思维谜题模型

    研究人员通过精调不同规模的预训练基于转换器的语言模型，并对其得分和响应进行分析，以帮助未来的研究人员有效理解和利用这些模型。他们的顶级方法在两个子任务中取得了竞争地位，在评估阶段，他们的最佳提交在句子拼图和词语拼图中分别获得了 81.7% 和 85.4% 的平均准确度得分，分别比最佳神经基线 (ChatGPT) 高出超过 20% 和 30%。

    Apr, 2024

  • LMN 在 SemEval-2022 任务 11 中：基于 Transformer 的英文命名实体识别系统

    本文介绍了我们参加 SemEval-2022 多语言复杂命名实体识别英文赛道的基于 Transformer 预训练模型的简单有效基准系统，取得了 72.50% 的 F1 得分，同时讨论了通过实体链接进行数据增强的方法。

    Feb, 2022

  • IIE-NLP-Eyas 在 SemEval-2021 任务 4 中：通过特殊标记、重新排序、孪生编码器和回译增强 PLM 以用于 ReCAM

    本文介绍了我们针对 SemEval-2021 任务 4 的三个子任务的系统：抽象意义阅读理解的所有三个子任务。为了帮助我们的模型更好地表示和理解自然语言中的抽象概念，我们设计了很多简单而有效的方法，适应于基础模型（RoBERTa）, 并采用多项选择问题回答的格式以及添加特殊标记到抽象概念，将问题回答的最终预测视为子任务的结果。此外，我们采用了许多微调技巧来提高性能。实验结果表明，我们的方法相对于基线系统表现出显著的性能差异， 在子任务 1 上获得第 8 名，在子任务 2 上获得第 10 名。

    Feb, 2021

  • 利用 Transformers 的生成和判别能力构建开放式填空测试

    本论文提出了第一个多目标变压器模型，用于构建完形填空测试，利用生成和辨别能力来提高性能，实验表明，我们的方法在自动和人工评估中可以达到 82％的准确性，超过了之前的方法和基线。

    Apr, 2022

  • BUT-FIT 在 SemEval-2019 任务 7 中：使用预训练的深度双向 Transformer 来确定谣言立场

    本文描述了我们提交到 SemEval 2019 任务 7 的系统：RumourEval 2019：确定谣言真实性和谣言支持，子任务 A。我们使用姿态分类来确定帖子关于前一贴和源贴的谣言立场。本文使用基于 BERT 架构的端到端系统，没有手工特征，在所提供的测试数据中达到了 61.67％的 F1 得分，获得该项竞赛的第二名。

    Feb, 2019

  • 使用 Transformer 语言模型对社会政治文本进行零样本排序以减少读取时间

    使用基于 Transformer 的 DeBERTa 模型将分类问题转化为蕴含问题，使得排名最高的文档可以被视为正分类文档，从而缩短信息抽取过程中的阅读时间，并发现一定的召回率下，使用声明性形式的类别标签作为查询可以优于使用字典定义的类别标签。同时研究表明，随着主题范围的扩大，应阅读的文档百分比会增加。

    Oct, 2022

  • Inno 在 SemEval-2020 任务 11 中：利用纯 Transformer 进行多类别宣传检测

    本文提出了基于 Transformer 模型的优化学习方案，用于检测新闻文章中的宣传技术，并在验证集和测试集上展示了不低于 0.6 和 0.58 的总 F1 得分，以及每个类别上的非零 F1 得分。

    Aug, 2020

  • KInITVeraAI 在 SemEval-2023 任务 3 中的表现：简单而强大的多语言微调用于说服技巧检测

    本文提出了在 SemEval 2023 任务 3 的子任务 3 中检测说服技巧的最佳解决方案，主要是通过细调预训练的基于 Transformer 的语言模型来处理多语言输入数据和多个预测标签，该方案使用大型的跨语言模型（XLM-RoBERTa 大型模型）在所有输入数据上联合训练，而且针对已知语言和未知语言分别设置合理的置信度阈值，最终在 9 种语言中的 6 种语言上（包括两个未知语言）表现最优秀并取得了高度竞争的结果。

    Apr, 2023