WSDMFeb, 2024

WSDM Cup 2024 的第一名解决方案：利用大型语言模型进行对话式多文档问答

PDF
TL;DR我们介绍了我们在 WSDM Cup 2024 的 “Conversational Multi-Doc QA” 挑战中的获胜方法，利用了大型语言模型（LLM）的优越自然语言理解和生成能力，通过将 LLMs 调整到任务需求，制定了混合训练策略来充分利用领域内无标注数据，并采用先进的文本嵌入模型来过滤可能不相关的文档，并设计和比较多种模型集成的方法，配备了所有这些技术，我们的解决方案最终在 WSDM Cup 2024 中获得了第一名，大大超过了竞争对手。
conversational multi-doc question answeringlarge language modelsnatural language understandingtraining strategytext embedding model
发现论文，激发创造
  • 大规模语言模型的多语言文档问答评估方法

    通过使用大型语言模型，本文研究了这些模型的多语言能力。初步结果表明，将原始语言环境、问题和答案翻译成高资源语言会产生最佳结果。

    Feb, 2024

  • 利用大型语言模型的多角色能力进行面向开放领域的问答

    开放领域问答（ODQA）作为信息系统中的关键研究领域已经崛起。现有方法采用两种主要范式来收集证据：（1）“先检索然后阅读” 范式从外部语料库中检索相关文档；（2）“先生成然后阅读” 范式使用大型语言模型（LLMs）生成相关文档。然而，两者都无法完全满足证据的多方面需求。因此，本文提出了 LLMQA，一种通用框架，将 ODQA 过程分为三个基本步骤：查询扩展、文档选择和答案生成，结合了基于检索和基于生成的证据的优势。由于 LLMs 展示了在各种任务中表现出的出色能力，我们在框架中指导 LLMs 担任多个角色，作为生成器、重新排序器和评估器，集成它们在 ODQA 过程中的协作。此外，我们引入了一种新颖的提示优化算法，以改进角色扮演提示，引导 LLMs 生成更高质量的证据和答案。在广泛使用的基准测试（NQ、WebQ 和 TriviaQA）上进行的大量实验结果表明，LLMQA 在答案准确性和证据质量方面达到了最佳表现，展示了其推进 ODQA 研究和应用的潜力。

    Mar, 2024

  • 强化大型语言模型在工业领域特定问题回答上的表现

    本研究提供了一个基于微软产品和技术问题的产业特定 QA 知识的检测基准 MSQA，旨在评估旨在提高 LLM 领域特定能力的方法。此外，我们提出了一种新的模型交互范式，可以使 LLM 在不熟练的领域特定任务上实现更好的性能。实验表明，遵循我们的模型融合框架的方法优于常用的检索方法的 LLM。

    May, 2023

  • 可靠的学术会议问答：基于大型语言模型的研究

    我们提出了 ConferenceQA 数据集，基于 LLMs 的会议问答研究，使用检索方法增强 LLMs 的问答能力。

    Oct, 2023

  • BeamSearchQA: 大型语言模型是强大的零样本问答求解器

    本研究提出了一个名为 BeamSearchQA 的新型问题回答管道，它通过使用大型语言模型迭代地生成关于原始问题的新问题，从而启用一个迭代推理过程，以便更好地捕捉和利用隐藏知识。实验结果表明，BeamSearchQA 明显优于其他零 - shot 基线，在处理开放性领域问题回答方面具有很强的有效性。

    May, 2023

  • 面向开放域问答的自我提示大语言模型

    本文提出了一种基于大型语言模型的自我点拨框架 (Self-Prompting framework)，使得在开放域下的问答任务 (Open-Domain Question Answering) 可以在不需要训练数据和外部知识库的情况下实现，采用该方法在三个广泛使用的 ODQA 数据集上，实验结果优于之前的最先进方法，在 EM 指标上平均提高了 8.8 个百分点，并且能够实现与多种检索增强的微调模型相比较的性能。

    Dec, 2022

  • 大型语言模型作为上下文人工智能生成器的优质多样性

    通过利用生成模型的模式匹配能力，我们提出了 In-context QD 框架，通过将 QD 档案作为上下文，利用预训练的大型语言模型的上下文能力生成有趣的解决方案，在多个领域中展现出有希望的结果，并在 QD 搜索中取得了良好的效果。

    Apr, 2024

  • PerkwE_COQA：将上下文关键词提取与大型语言模型相结合以增强波斯语会话问答

    本篇论文提出了一种新的方法，通过结合大型语言模型（LLMs）和上下文关键词提取，提升波斯语对话式问答系统（CQA）的性能，实现更准确、连贯的回答，有效处理隐含问题和依赖于对话上下文的复杂问题。评估结果显示，该方法在 CQA 性能上相较于现有方法和仅使用 LLMs 的基准测试结果高出 8%。

    Apr, 2024

  • 让 LLMs 应对最新挑战！一个中文动态问答基准测试

    为了提高中文大型语言模型（LLMs）的问答能力，本文引入了 CDQA，这是一个包含与中国互联网最新新闻相关的问答对的中文动态问答基准，通过人工和模型相结合的流程获得高质量的数据，根据答案变化的频率仔细分类样本以便更精细地观察 LLMs 的能力，我们还评估和分析了 CDQA 上的主流和先进的中文 LLMs，广泛的实验和有价值的见解表明我们提出的 CDQA 是具有挑战性和值得进一步研究的，我们相信我们提供的基准将成为未来改善 LLMs 中文问答能力的关键数据资源。

    Feb, 2024

  • FanOutQA：大型语言模型的多跳、多文档问答

    通过创建 FanOutQA 数据集以及进行评估测试，研究发现当处理复杂的多文档依赖关系时，当代的语言模型如 GPT-4、LLaMA 2、Claude-2.1 和 Mixtral-8x7B 仍存在推理能力的提升空间。

    Feb, 2024