Jan, 2024

信息损失问答：文本简化中的信息损失特征和恢复

PDF
TL;DR文本简化旨在使技术文本对普通读者更易理解，但常常导致信息缺失和模糊。本研究提出了 InfoLossQA 框架，以问答对的形式描述和恢复由于简化而导致的信息缺失，并基于 Question Under Discussion 理论设计问答对，以帮助读者加深对文本的理解。通过一系列实验，我们收集了一千个由语言学家策划的医学研究科学论文摘要的 LLM 简化所生成的问答对数据集。分析结果显示信息缺失频繁发生，而问答对能够提供信息损失的高级概述。我们提出了两种方法来解决这个问题：基于开源和商业语言模型的端到端提示以及自然语言推理流程。通过考虑问答对的正确性和语言适宜性的全新评估框架，我们的专家评估结果显示模型在可靠地识别信息损失上存在困难，并且在确定信息损失的标准方面与人类存在类似的问题。
发现论文，激发创造
  • 基于理解问答的文本简化

    本研究探讨并验证了通过文本简化改善阅读理解相关任务的可行性，创建了被简化过的 SQuAD 数据集 (Simple-SQuAD)，并实验表明文本简化对于基于 SQuAD 的问答任务，确实可以提高 2.04% 的精确匹配率和 1.74% 的 F1 值。

    Sep, 2021

  • 从信息检索和深度神经网络角度的基于文本的问答：一项综述

    本文综述了传统信息检索方法和深度神经网络方法在文本问答任务中的应用，介绍了相关模型以及可供比较的数据集和文献结果。

    Feb, 2020

  • 为复杂信息抽取任务微调和对齐问答模型

    使用提取式 QA 模型进行特征提取的方法可改善德语商业文档的信息提取，并通过微调现有德语 QA 模型提高性能，同时还讨论了评估信息提取任务的相关度得分指标。

    Sep, 2023

  • QASem 解析：基于 QA 语义的文本到文本建模

    该论文研究了使用问答的方式表示语义关系，并从三个任务的角度分析了如何最好地利用 seq2seq 预训练语言模型的威力。最终提出了一个综合文本信息的模型，并发布了具有实用性的 QASem 分析工具。

    May, 2022

  • XAIQA：用于提取式问答的基于解释器的数据增强

    使用医疗记录自然可用的数据，XAIQA 通过分类模型解释器生成大规模的合成问答对，提升了 GPT-4 作为抽取式问答模型的性能。

    Dec, 2023

  • 一种基于语义问答的文本摘要评估方法

    本文提出了一种基于问题解答的方法，通过将文本视为小型知识库进行大量提问，以精确地比较两个文本之间的内容差异，从而解决 NLP 系统评估中的一个重要问题。实验结果表明，该方法在分析大型文本语料库方面具有较高的准确性和可靠性。

    Apr, 2017

  • 社区问答对总结

    该研究提出了一种新的社区问答（CQA）总结任务，旨在从 CQA 对中创建简洁的摘要，并通过一系列数据注释和方法比较建立了一个强大的基线方法 DedupLED，进一步确认了 CQA 总结任务中的两个关键挑战，即句子类型转换和去重移除。

    Nov, 2022

  • 长格式问答进展的障碍

    该论文探讨了长篇问答任务中关于评估和数据集构建所面临的挑战，在提出新模型的同时指出该任务中 ROUGE-L 评估不具信息性，且训练集和验证集存在显著重复。给出了缓解这些问题的建议。

    Mar, 2021

  • 通过检索和理解从非结构化文本中进行问答

    本文提出了基于 RNN 和神经模型的信息检索和理解两个步骤的开放域问答系统来解决信息检索的问题，并在 Wiki Movies 数据集上达到了最先进的表现，通过减少 40% 的错误率来证明了每个组件的重要性。

    Mar, 2017

  • 信息查询问答中的挑战：无法回答的问题和段落检索

    本文分析了预训练语言模型在信息查找问题回答方面的挑战和解决方案，包括段落选择和答案预测。作者人手对多语言数据集进行了分类和标注，在此基础上提出了未来在数据集收集和模型开发方面的研究前景。

    Oct, 2020