Sep, 2022

社会科学出版物中调查变量识别的 SV-Ident 2022 共享任务概述

PDF
TL;DR本文介绍了第三届学术文献处理研讨会（SDP）中的 SV-Ident 共享任务，包括任务描述、参与团队的提交、评估结果和可用数据。本次任务的核心目标是在学术文献中识别变量，但是尽管参与团队未能超越基线系统，他们的提交依然提供了有用的见解。
sv-ident shared taskscholarly document processingvariable identificationbaseline systemsdata and baselines
发现论文，激发创造
  • SciVer 科学声明验证共享任务的概述和见解

    本文概述了在第二届 NAACL 2021 学术文档处理（SDP）研讨会上介绍的 SciVer 共享任务，在该任务中，系统需要识别支持或反驳科学论断的文章以及提供证明标签的证据句子。11 个团队共提交了 14 份成果，主要任务评估指标上的 F1 分数有了超过 23 的提升。除了调查参与系统外，我们还提供了一些模型方法的见解，以支持科学主张验证这一重要而具有挑战性的任务的持续进展和未来研究。

    Jul, 2021

  • CL-SciSumm 2018 共享任务：结果与关键见解

    CL-SciSumm Shared Task 2018 was held as part of SIGIR's Annual Conference, which focused on scientific document summarization in the computational linguistics domain, evaluated using two metrics and providing datasets for the community.

    Sep, 2019

  • VarDial 2023 评估运动的发现

    本报告展示了 2023 年 VarDial 评估活动的共享任务结果。该活动是第十届自然语言处理（NLP）工作坊的一部分，涉及低资源语言的槽和意向检测，相似语言鉴别等任务。

    May, 2023

  • SemEval-2022 任务 2: 多语言习语检测和句子嵌入

    这篇论文介绍了跨语种成语识别和句子嵌入的共享任务，包括二分类任务和基于文本相似度的任务，并说明了训练数据、数据集、评估指标、参与系统和结果。这项任务吸引了近 100 个注册参与者，成立了 25 个团队，在实践和评估阶段共提交了超过 650 和 150 份提交 respectively。

    Apr, 2022

  • CL-SciSumm 共享任务 2019 概述与结果

    该论文介绍了 2019 年 CL-SciSumm 共享任务，包括三个任务：确定引用文献与被引用文献间的关系，分类表述要素和生成概括性摘要等，使用 40 个带有注释的 CL-SciSumm 2018 语料库和 1000 个来自 SciSummNet 数据集的引用和参考文献，以及使用了两种评估指标，其中 ROUGE 作为一种评估指标。

    Jul, 2019

  • VADIS -- 一个可变检测、互联和总结系统

    VADIS 系统通过允许用户在其基础研究数据和学术出版物的上下文中搜索和使用调查变量来满足提供增强信息访问的需求。

    Dec, 2023

  • 2018 年复杂词汇识别共享任务报告

    本篇论文报告了第二次 Complex Word Identification (CWI) shared task 的结果，这是 BEA 与 NAACL-HLT'2018 会议合作的一部分。该任务旨在识别复杂词语，分为 4 个轨道，包括英语、德语、西班牙语和多语种，涵盖了两种任务：二元分类和概率分类。11 个团队提交了论文，详细描述了其结果和方法。

    Apr, 2018

  • 自动提取文本中社会政治事件的挑战和应用：CASE 2022 研讨会和分享任务报告

    本文总结了在 EMNLP 2022 范围内举行的 CASE 工作坊的第五届会议，该工作坊聚焦于跨技术和社会科学领域的事件信息收集和多模态方法对该跨学科研究主题的拓展。

    Nov, 2022

  • 代码交替数据中语言识别第二次共享任务概览

    本研究概述了关于在混合数据中进行语言鉴别第二次分享式任务的总结。我们发现，多种语言之间的语言鉴别比较困难；今年的系统整体表现优于上一个共享任务的系统，这表明该领域的技术正在不断进步。

    Sep, 2019

  • 多语言指代消解共享任务的发现

    本文概述了 CRAC 2022 研讨会上多语种共指消解任务的概况，采用公共数据集 CorefUD 1.0 为训练和评估数据，使用 CoNLL 得分作为主要评估指标，并比较了多个系统和竞争基线系统，获胜者系统的表现优于竞争基线 12 个百分点。

    Sep, 2022