Jan, 2019

回答比较型问题：比传统搜索结果更优秀？

PDF
TL;DRCAM 是一种新颖的开放领域 IR 系统，可以通过从公共爬行中提取的信息在论证上比较对象。通过用户研究，发现相比于基于关键字搜索的 “传统” 方法，使用 CAM 可以获得 15％更准确的答案，并且在寻找比较问题的答案方面更快 20％。
camopen-domain ircommon crawlcomparative questionsargumentative machine
发现论文，激发创造
  • 知识库问答的比较研究

    本文比较了六个知识库问答系统在八个基准数据集上的表现，研究了各种问题类型、属性、语言和领域，提出了一个高级的映射算法来帮助现有模型取得更好的结果，并开发了一个 COVID-KGQA 的多语言语料库来鼓励 COVID-19 研究和多语言多样性的未来 AI，此外还讨论了主要发现及其影响、性能指南和一些未来改进。

    Nov, 2022

  • 分类比较句

    本研究使用预训练的句子嵌入，基于梯度提升模型自动识别比较句子并对其意向进行分类，可用于支持相互竞争的、比较性的和论证性的搜索引擎和辩论技术。

    Sep, 2018

  • 在哪举办人工智能会议更好，温哥华还是______：为何比较性问题很难完成

    本论文研究以大型神经语言模型填充人类编写的比较问题中的实体，证明在三个不同子域中这些模型的性能可以接近于人类的完成水平，但分析表明它们学习的内容并不能建模任何广泛的可比较或类似的实体，而是非常特定于特定领域，性能与训练集中特定实体的共现高度相关。

    Apr, 2021

  • 面向法律文本的论证挖掘智能辅导系统

    本研究提出了一种自适应环境（CABINET），基于一种新颖的认知计算框架来支持案例分析，以识别关键论点要素，并根据用户的熟练程度仔细匹配各种机器学习能力，支持法律专业人员及学生学习与实践。实验结果表明，该系统具有非常低的误报率（2.0％-3.5％），能够识别分析中的潜在错误，并能以相对较高的 F1 得分（0.74）预测关键论点要素类型（例如，问题或保持）。

    Oct, 2022

  • 为比较推理预训练语言模型

    本文提出了一种新的预训练语言模型框架，通过增强其对文本的比较推理能力来提高 NLP 任务的性能，该框架通过收集结构化和非结构化数据设计了三个新的预训练任务，并在比较问答、问句生成和摘要等下游任务中进行了评估，结果显示，我们的预训练框架显著提高了语言模型的比较推理能力，特别是在低资源条件下。此外，本工作还发布了第一个针对文本比较推理的综合基准。

    May, 2023

  • 作弊者之碗：人类与计算机搜索策略在开放领域问题回答中的对决

    在研究中，我们设计了一个名为 Cheater's Bowl 的游戏化界面来收集人类搜索行为的数据，分析了人类的搜索策略，并与最先进的多跳 QA 模型进行了比较，证明了人类的搜索策略可以提高现有系统的准确性，也提出了未来 QA 模型设计的改进。

    Nov, 2022

  • CoQA: 一项面向对话的问题回答挑战

    本篇论文提出了一种建立对话式问答系统的新数据集 CoQA，包含来自七个不同领域的 8,000 个对话中 127,000 个具有答案的问题，分析表明，这些问题比现有的阅读理解数据集具有更多挑战性和难点，需要针对性的解决方案，评测结果显示目前最好的系统 F1 得分为 65.4％，仍然有大量的改进空间。

    Aug, 2018

  • 通过填空测试评估机器常识

    通过对语言模型的表现的一系列测试和测量，本文揭示语言模型的强项与局限，提出了利用填空测试结合词嵌入来度量 LM 的鲁棒性和置信度，结果显示语言模型虽然能够实现类人的准确性，但其置信度不足。将来的工作可以利用这一信息来构建更复杂的系统，如符号和分布式知识的集合。

    Jan, 2022

  • 会话问答内容理解的实证研究

    该论文研究基于对话问答模型中标准数据集对模型的语义理解能力的反应度以及对话内容对模型回答问题的影响，并指出了 QuAC 和 CoQA 两个常用数据集的一些 潜在问题及其存在的偏见。

    Sep, 2019

  • 面向语料库的论点挖掘 —— 一种有效方案

    本文介绍了一个全面的、高精度的基于话语级查询的语料库广泛的 Argument Mining 系统，通过将适当索引的大型语料库上的句子级查询与迭代式注释方案结合起来，解决了数据中的固有标签偏差，标注手册所需的空间样本的区域，从而获得高精度的排名前几的候选项。

    Nov, 2019