Apr, 2024

PerkwE_COQA：将上下文关键词提取与大型语言模型相结合以增强波斯语会话问答

PDF
TL;DR本篇论文提出了一种新的方法，通过结合大型语言模型（LLMs）和上下文关键词提取，提升波斯语对话式问答系统（CQA）的性能，实现更准确、连贯的回答，有效处理隐含问题和依赖于对话上下文的复杂问题。评估结果显示，该方法在 CQA 性能上相较于现有方法和仅使用 LLMs 的基准测试结果高出 8%。
smart citiesconversational query-answeringcqa systemsllmscontextual keyword extraction
发现论文，激发创造
  • 基於大型語言模型的無人系統知識庫問答的上下文學習

    基于知识库的问答（KBQA）旨在根据知识库来回答事实性问题。本研究针对无人系统中的知识图推理问答的 CCKS2023 竞赛，在 ChatGPT 和 GPT-3 等大型语言模型在许多问答任务中取得的最近成功的启发下，提出了基于 ChatGPT 的 Cypher 查询语言（CQL）生成框架，从给定的自然语言问题中生成最适合的 CQL 查询。我们的生成框架包括六个部分：根据给定的自然语言问题预测 CQL 的语法相关信息的辅助模型，从给定的自然语言问题中提取专有名词的专有名词匹配器，检索输入样例的相似示例的演示示例选择器，设计 ChatGPT 的输入模板的提示构造器，生成 CQL 的 ChatGPT 模型，以及从多样化的输出中获取最终答案的集成模型。凭借我们的基于 ChatGPT 的 CQL 生成框架，我们在 CCKS 2023 无人系统知识图推理问答竞赛中获得第二名，F1-score 为 0.92676。

    Nov, 2023

  • CaLMQA: 跨 23 种语言探索跨文化特定长篇问答

    通过介绍 CaLMQA，一个涵盖 23 种语言的 2.6K 多样化问题集，我们发现大型语言模型在生成复杂问题的长篇答案时在某些低资源语言方面的质量明显下降，这突显了 LLM 多语言能力和非英语长篇问题回答评估中进一步研究的需求。

    Jun, 2024

  • 利用 LLM 提升条件问答

    该研究探讨了大型语言模型 (LLMs) 在具有挑战性的条件问答领域中的能力和局限性。利用条件问答 (CQA) 数据集，重点关注 T5 和 UL2 等生成模型，我们评估了 LLMs 在不同问题类型上的性能。研究发现，经过微调的 LLMs 在某些情况下可以超越现有技术在一些方面的表现，即使没有完全编码所有输入上下文，对于是 / 否问题的精确匹配 (EM) 和 F1 分数有 7-8 个点的增加。然而，这些模型在抽取性问答方面遇到了挑战，在与现有技术相比落后于 10 个以上的点，并且在减少注入错误信息的风险方面也存在问题。与神谕检索器进行的一项研究强调了有效证据检索的关键作用，强调了该领域需要先进解决方案的必要性。此外，我们强调了评估评价指标对性能评估的重要影响，并倡导使用更全面的评估框架。任务的复杂性、观察到的性能差异以及在条件问答任务中改进训练任务和探索基于提示的技术以提高 LLMs 性能的未来工作的需求，突显了这一领域面临的持续挑战。

    Dec, 2023

  • 交互式 KBQA：大型语言模型的知识库问答多轮交互

    通过与知识库进行直接交互生成逻辑形式，我们引入了 Interactive-KBQA 框架来解决知识库问答领域的问题，该框架包括三种通用 API 用于知识库交互，通过步骤推理过程注释数据集，展示了我们模型的适应性和潜力，并在低资源场景中以极少的示例达到了优秀的结果。

    Feb, 2024

  • 利用预训练和大型语言模型提升社区问答中的答案选择

    本文提出了使用预训练模型的 Question-Answer 交叉注意网络（QAN）进行回答选择，并利用大型语言模型（LLM）来进行具有知识增强的回答选择。实验证明，QAN 模型在 SemEval2015 和 SemEval2017 数据集上实现了最新的性能。同时，LLM 利用外部知识进行问题和正确答案的知识增强，并通过不同方面对 LLM 的提示进行优化，结果表明外部知识的引入可以提高 LLM 在 SemEval2015 和 SemEval2017 数据集上的正确答案选择率，同时通过优化提示，LLM 也能在更多问题上选择正确的答案。

    Nov, 2023

  • 让 LLMs 自言自语：通过零样本 LLM 与 LLM 互动模拟人对人问答对话

    对话问答系统使用大规模语言模型进行模拟和交互，提出了一种基于零 - shot 学习的模拟框架，通过教师 - 学生互动模式实现指定主题下的问题和回答生成。通过评估教师和学生模型的性能并比较人类生成对话与模型生成对话的差异，揭示了使用语言模型进行 CQA 交互模拟的有效性和表现。

    Dec, 2023

  • 会话式问答：综述

    本文对 2016 至 2021 年所发表关于问答系统的各项研究进行了回顾与总结，发现多轮问答系统已取代了单轮问答系统的先前主导地位，这表明了其在提高人工智能对话系统方面的重要性，同时也描绘了开展更多进一步和有利的研究的未来研究方向。

    Jun, 2021

  • CoQA: 一项面向对话的问题回答挑战

    本篇论文提出了一种建立对话式问答系统的新数据集 CoQA，包含来自七个不同领域的 8,000 个对话中 127,000 个具有答案的问题，分析表明，这些问题比现有的阅读理解数据集具有更多挑战性和难点，需要针对性的解决方案，评测结果显示目前最好的系统 F1 得分为 65.4％，仍然有大量的改进空间。

    Aug, 2018

  • 会话式问答中的加强问句重述技术

    使用强化学习训练重写模型，以 QA 反馈作为监督信号，能够有效提高抽取式和检索式问答中的性能，并且人工评估表明该方法能够生成更准确和详细的重写，优于人工注释。

    Oct, 2022

  • LeanContext: 高效领域特定问答的成本效益探究利用 LLMs

    LeanContext 是一种从上下文中高效提取与查询密切相关的关键句子的方法，采用强化学习技术动态确定提取的句子数量，其余重要性较低的句子通过开源的文本缩减方法进行缩减。与保留完整上下文的基准方法相比，尽管成本减少了 37.29％至 67.81％，LeanContext 的 ROUGE-1 得分仅下降了 1.41％至 2.65％。此外，如果使用免费预训练的基于大型语言模型的摘要方法来缩减上下文，LeanContext 可以进一步修改缩减后的上下文，提高准确性（ROUGE-1 得分）13.22％至 24.61％。

    Sep, 2023