Jan, 2024

CFMatch: 自动化答案等效评估与专家判断在开放域问答中的对齐

PDF
TL;DR通过采用职业人员 QA 竞赛来评估机器 QA 中答案的正确性，结合标准评估和一种更高效、稳健、轻量级的基于偏差 AE 分类器的匹配方法（CFMatch，小于 1 MB），培训和验证以更准确地评估答案的正确性，使得 QA 能够进一步发展。
发现论文，激发创造
  • Tomayto, Tomahto. 问题回答评估中超越令牌级别答案等价性

    这篇研究论文通过定量分析 token-level 等价度量的局限性，提出了一个不对称的答案等价度概念，结合 BERT matching 算法，其结果比传统的 F1 方法更为准确，可用于问题回答的实际应用中来找到最小准确预测集。

    Feb, 2022

  • 在大语言模型时代评估开放领域问答

    通过人工评估，我们发现使用 InstructGPT 在 NQ-open 取得了新的最优结果，且所有模型的真实性能均被显著低估，同时超过 50％的词汇匹配失败归因于意义相当的答案， 正则匹配排名与人类判断一致

    May, 2023

  • 对长篇问答评估的关键评估

    对长篇答案进行有针对性的评估研究，强调评估多维度因素，发现自动文本生成的评价指标不能预测人类喜好，建议未来的评估中，应该注重准确性、完整性和客观性等多个方面。

    May, 2023

  • 评估开放式问答系统评估

    本研究针对认知智能领域中的 Open Question Answering 任务进行评估，提出了 QA Evaluation 任务和相应的数据集，在考虑到自动评估方法的局限性的基础上，采用人工评估来更准确地衡量基于人工智能的答案的准确性和 F1 分数，并研究表现高度相关且更可靠的评估方法以及当前方法的缺陷，最终生成的数据集有望促进更有效的自动评估工具的发展。

    May, 2023

  • PANDA（Pedantic ANswer-correctness Determination and Adjudication）：提升问题回答和文本生成的自动评测

    研究提供了评估机器问答的清晰指南，并引入了 Precise ANswer correctness Determination and Adjudication (PANDA)，一个小巧高效、更准确地评估答案正确性的 AC 分类器。

    Feb, 2024

  • 利用大型语言模型改进自动 VQA 评估

    借助大型语言模型的上下文学习能力，我们提出了一个更好的 VQA 评估指标，该指标在多个 VQA 模型和基准测试中与人类判断更好地相关，希望广泛采用我们的指标以更好地估计 VQA 任务的研究进展。

    Oct, 2023

  • 公开域问答的答案等效性问题

    本文探讨了利用知识库中的别名实体作为额外的 “金标准答案” 来提高 QA 系统的评估和训练效果，并在三个 QA 基准数据集上验证了其有效性。

    Sep, 2021

  • 透过文本蕴含准确而细致地评估开放问题回答

    我们提出研究答案的蕴含关系，以识别更具信息量和更一般化的系统答案，从而更接近人类判断，无需学习。我们提出的蕴含关系评估可通过量化答案之间的推断差距来分配奖励或部分分数，实现对答案正确性的细致排序，其 AUC 比目前的方法更高。

    May, 2024

  • 去除黄金标准：重新评估对话问答

    本文对目前最先进的对话问答系统进行了首次的大规模人类评估，发现人类与机器之间的对话存在显著差异。此外，基于预测历史的问题重写机制能够更好地与人类判断相一致。通过研究各种建模策略，讨论了构建更好的对话问答系统的未来方向。

    Dec, 2021

  • SQUARE: 使用多个正面和负面参考答案的自动问答评估

    使用多个参考答案的评估指标 SQuArE（基于句子级问题回答评估）对句子形式的 QA 系统进行评估，显示其优于以往的基准线，并获得与人工评注最高的相关性。

    Sep, 2023