EMNLPOct, 2023

QUDEVAL: 问题讨论话语解析的评估

PDF
TL;DR在本文中，我们介绍了第一个自动评估 QUD 解析的框架，将 QUD 的理论约束转化为具体的协议。我们提出了 QUDeval，一个细粒度评估的 QUD 问题数据集，其中包含来自经过微调的系统和 LLMs 生成的 2,190 个 QUD 问题。使用 QUDeval，我们发现满足 QUD 的所有约束对于现代 LLMs 仍然具有挑战性，并且现有的评估指标很难近似解析器的质量。令人鼓舞的是，由人工撰写的 QUD 问题在我们的人类评估者中得到了很高的评分，这表明在语言建模方面取得进一步的进展可以改善 QUD 解析和评估。
发现论文，激发创造
  • 通过问题和回答进行话语分析：解析讨论中问题的依存结构

    本文介绍了一种自动语篇处理方法 ——Questions Under Discussion（QUD），采用了一种新的语言框架，通过大数据集训练 QUD 解析器从而可以获得强大的性能，同时通过 QUD 分析可以实现文档简化。

    Oct, 2022

  • 阐述简化作为讨论中的隐式问题

    研究讨论将拓展式简化与 QUD 框架相结合，通过问题生成对其进行明确建模，以提高拓展式简化的质量和理解。

    May, 2023

  • AMUSE: 面向语义链接数据的多语言问答语义解析

    研究发现，多语言自然语言问答技术仍存在困难，我们提出了一种利用 DUDES 和 MCMC 方法建立模型的 QALD 管道，成功将自然语言问题转换为可执行的 SPARQL 查询，并且在英语、德语和西班牙语环境下进行了测试。

    Feb, 2018

  • QED: 问答解释的框架和数据集

    QED 是一个基于语言学的可扩展框架，为问答提供解释，提高了调试能力、扩展性和信任度，可以根据规范的语义概念如引用相等性、句子性和蕴含关系说明问题和答案之间的关系，进行问波应答和解释生成的试验表明，训练涉及 QED 数据的模型可以显著提高问答能力，在大量测试中，通过 QED 解释可以显著提高非专业用户改正强神经基线所犯错误的能力。

    Sep, 2020

  • QADiver: 诊断 QA 模型的交互式框架

    本研究提出了一个基于 Web 的 UI 框架，通过整合可视化和分析工具来提供有关 QA 模型性能的信息，并帮助 QA 模型研究人员改进其模型的性能。

    Dec, 2018

  • q2d：从问题到对话，训练模型学习搜索

    该论文介绍了一种自动生成基于搜索查询的对话数据的机器学习方法，通过使用大型语言模型生成问题回答数据集，学习如何与外部搜索 API 通信，以生成具有上下文的搜索查询，从而改善对话系统的回答效果。

    Apr, 2023

  • 话语理解：一种问答框架用于表示句子之间的联系

    本文提出了一种新的方法来收集关于新闻文件的提问，带有上下文关联且没有标注答案的开放性问题数据集 (DCQA)，并结合现有的问答资源进行了预训练，以有效帮助回答这类开放性问题。

    Nov, 2021

  • 通用分解语义解析的整体性探索：架构、数据增强和 LLM 范式

    本文综合探讨了通用分解语义（UDS）解析，并引入了级联模型，将复杂的解析任务分解为语义上适当的子任务。我们的方法在优化了架构的同时，超越了先前的模型，并显著减少了推理时间。我们还结合了句法信息，进一步优化了架构。此外，我们还探索了不同的数据增强方法，进一步改进了 UDS 解析。最后，我们进行实验来研究 ChatGPT 在处理 UDS 任务方面的效果，发现它在属性解析方面表现出色，但在关系解析方面存在困难，而使用 ChatGPT 进行数据增强效果不佳。我们的代码可在此链接找到。

    Jul, 2023

  • 一种带有统一知识接口的开放领域问答系统

    本文提出了一种基于数据和文本的统一问答框架 UDT-QA，并使用数据到文本方法将 Wiki 百科中的表格和 Wikidata 中的图表达为口语化信息，以扩展知识索引。实验证明，该方法取得了自然问答 (Single-model state-of-the-art) 的最佳成果，并表明对于调整和热插拔的两种情况，口语化知识的优先考虑可以优化答案推理。

    Oct, 2021

  • 口语对话系统的依存句法分析

    本研究提出了一种名为 SCUD 的新的语言依存注释标准，并提供了 ConvBank 数据集，以用于在人机对话方面训练依存句法分析模型。实验表明，将模型预训练于公共数据集并在 ConvBank 数据上进行微调可以取得最好的结果，达到了 85.05％的未标注和 77.82％的标注连接准确率。

    Sep, 2019