ACLMay, 2023

WebCPM：面向中文长篇问答的交互式 Web 搜索

PDF
TL;DR介绍了 WebCPM，首个基于交互式 Web 搜索的中文长篇问答（LFQA）数据集，共收集 5,500 个高质量的问答对，开发了基于预训练语言模型微调的 LFQA 流水线，生成的答案在数据集和 DuReader 上能达到不亚于人类书写的水平。
long-form question answeringinformation retrievalinformation synthesischinese lfqa datasetpre-trained language models
发现论文，激发创造
  • CaLMQA: 跨 23 种语言探索跨文化特定长篇问答

    通过介绍 CaLMQA，一个涵盖 23 种语言的 2.6K 多样化问题集，我们发现大型语言模型在生成复杂问题的长篇答案时在某些低资源语言方面的质量明显下降，这突显了 LLM 多语言能力和非英语长篇问题回答评估中进一步研究的需求。

    Jun, 2024

  • 长格式问答进展的障碍

    该论文探讨了长篇问答任务中关于评估和数据集构建所面临的挑战，在提出新模型的同时指出该任务中 ROUGE-L 评估不具信息性，且训练集和验证集存在显著重复。给出了缓解这些问题的建议。

    Mar, 2021

  • 交互式 KBQA：大型语言模型的知识库问答多轮交互

    通过与知识库进行直接交互生成逻辑形式，我们引入了 Interactive-KBQA 框架来解决知识库问答领域的问题，该框架包括三种通用 API 用于知识库交互，通过步骤推理过程注释数据集，展示了我们模型的适应性和潜力，并在低资源场景中以极少的示例达到了优秀的结果。

    Feb, 2024

  • QACP: 协助中文 Python 编程学习者的问题回答数据集

    为了解决编程教育中的数据稀缺问题，本文提出了一个针对 Python 学习者的新的中文问答数据集，通过收集实际学生问题并根据不同维度进行分类，以提高在线编程教育的效果和质量，并为开发编程教学助手提供扎实的数据基础。同时，通过对各种处理和生成中文内容的大型语言模型进行全面评估，凸显了通用大型语言模型在计算机编程课程中作为智能教学助手的潜在局限性。

    Jan, 2024

  • 生成式长篇问答：相关性、忠实度和简洁性

    本论文研究了长篇问答系统的相关性、可靠性和简洁性，旨在改进问题相关性、答案可靠性和简洁性等方面的答案质量。

    Nov, 2022

  • 长文本问答：一种迭代计划 - 检索 - 生成的方法

    提出了一种具有迭代规划、检索和生成过程的长篇问答（Long-form question answering，LFQA）模型，该模型通过迭代过程直到生成给定问题的完整答案，解决了既有模型在处理复杂问题和知识聚合方面的限制，并在各种文本和实际指标上优于现有模型。

    Nov, 2023

  • 让 LLMs 应对最新挑战！一个中文动态问答基准测试

    为了提高中文大型语言模型（LLMs）的问答能力，本文引入了 CDQA，这是一个包含与中国互联网最新新闻相关的问答对的中文动态问答基准，通过人工和模型相结合的流程获得高质量的数据，根据答案变化的频率仔细分类样本以便更精细地观察 LLMs 的能力，我们还评估和分析了 CDQA 上的主流和先进的中文 LLMs，广泛的实验和有价值的见解表明我们提出的 CDQA 是具有挑战性和值得进一步研究的，我们相信我们提供的基准将成为未来改善 LLMs 中文问答能力的关键数据资源。

    Feb, 2024

  • 对长篇问答评估的关键评估

    对长篇答案进行有针对性的评估研究，强调评估多维度因素，发现自动文本生成的评价指标不能预测人类喜好，建议未来的评估中，应该注重准确性、完整性和客观性等多个方面。

    May, 2023

  • FinTextQA：长文本金融问答数据集

    该研究介绍了 FinTextQA，这是一个用于金融领域长篇问答的创新数据集，并开发了一个基于 RAG 的 LFQA 系统，通过多角度评估方法得出了在噪声环境下不同配置的 LFQA 系统的性能表现和模型对噪声的容忍度。

    May, 2024

  • 大规模综合监督的跨语言开放领域问答预训练

    基于自我监督方法的编码器 - 解码器模型在跨语言问答中表现出色，利用维基百科的跨语言链接结构，综合生成监督信号，提高了检索和回答生成的性能，相比于其他方法，包括机器翻译，CLASS 方法在监督和零资源语言适配等方面均取得更好的效果。

    Feb, 2024