Apr, 2020

Winograd 模式挑战数据集和方法综述

PDF
TL;DR本文综述了 Winograd Schema Challenge，介绍了它的常识推理和自然语言理解挑战，并回顾了自提出以来已发布的数据集和方法，它是一种包含高度歧义代词的一对句子，需要深刻理解文本内容和情景以正确解决。
winograd schema challengecommonsense reasoningnatural language understandingambiguity resolutionbenchmark datasets
发现论文，激发创造
  • Winograd 模式挑战的击败

    本文回顾了 Winograd Schema Challenge 的历史并讨论了过去十年 WSC 研究中的持久贡献。我们讨论了为 WSC 开发的各种数据集的重要性以及研究社区对评估 AI 系统智能的代理任务作用的更深入理解。

    Jan, 2022

  • 一个人机协作框架用于模式开发

    提出了一个新的框架，通过将人类和机器的智能结合起来，合作设计新的 Winograd schemas，从而解决 Winograd Schema Challenge 中的人工智能问题。

    Feb, 2024

  • WinoGrande：规模化的敌对 Winograd 模式挑战

    介绍了一种新的数据集 WinoGrande，有效性在处理机器通用感性问题方面被证明，但同时提出存在机器学习算法数据集的偏见问题，需要进行算法级别的 “偏见减少” 来基本获得良好的机器通用感性问题解决方案。

    Jul, 2019

  • 使用答案集编程来处理 Winograd 模式挑战中的常识推理

    本文通过 Answer Set Programming (ASP) 编码建立在图形子图同构上的方法尝试解决 Winograd Schema Challenge (WSC)，并成功解决 240 个问题，提供了问题和相关常识知识的基于图形的表示。

    Jul, 2019

  • 回到起点：Winograd 模式中的工件检测、训练和常识分离

    本文主要探讨了基于预训练语言模型的方法在 Winograd Schema（WS）测试中的表现提升是否导致了常识推理能力的提高。文章指出当前 WS 的评估方法不够优化，提出了一种基于双子句的新评估方法，并提出了两种新的基准方法以证明 WS 基准的局限性。文章采用无监督学习方法对常识推理能力进行了评估，发现在严格的评估条件下，WS 基准的性能只是因为在训练 WS 模型时使用了监督，无法支持所需的所有常识推理技能和知识。

    Apr, 2021

  • WinoWhy: 用于回答温罗德图谱挑战的基本常识知识的深度诊断

    该论文首次对回答 Winograd Schema Challenge 所需的基本常识知识进行了全面分类，它们被分为六类主要知识类别。同时，通过开发新任务 WinoWhy，论文证明了预训练语言表示模型依旧存在缺陷。

    May, 2020

  • 泰国 Winograd Schema：泰语常识推理基准

    通过使用泰语 Winograd 模式集合，对流行的大型语言模型在泰语上的表现进行评估，揭示了它们的优势、局限性，并为当前技术发展提供了一些见解，结果表明尽管 GPT-4 和 Claude-3-Opus 等模型在英语上达到了高准确度，但它们在泰语上的性能显著下降，突出了对多语言常识推理的进一步改进的需求。

    May, 2024

  • 探索无监督预训练和句子结构建模用于 Winograd Schema Challenge

    本文介绍了 Winograd Schema Challenge 中采用最新技术取得的最高准确率，并探讨了共同建模句子结构、利用先进的预训练模型学习知识以及进行微调等方法对性能的影响，并分析表明微调在较简单的联想问题中更有利，而建模句子结构则对较困难的非联想子集更有帮助。同时，本文还表明，更大的微调数据集可以带来更好的性能，这也表明了未来注释更多 Winograd 模式句子方面的潜在价值。

    Apr, 2019

  • 普遍化温纳格术式及其情境性

    我们提出了一种新颖的方法，将 Winograd 模式广义化，从而使其类似于 Bell-CHSH 测量方案，并通过人们在众包平台上收集的人类判断报告了一个这种广义模式的实例。所得模型违反了 Bell-CHSH 不等式 0.192，从而在指代消解设置中展示出了上下文相干性。

    Aug, 2023

  • 经验与预测：一种新的酸碱试纸测试难度指标

    通过机器学习和大规模实验，本研究论文提出了一种新的系统，能够更快、更准确地输出 Winograd schemas 的难度，并扩展了已有研究，展示了人类在不同 Winograd schemas 上的表现变化。

    Sep, 2023