May, 2023

掌握复杂问题 ABCD：基于答案的主张分解进行细粒度自我评估

PDF
TL;DR本文介绍了一种针对大型语言模型生成的答案自我评估技术，即 ABCD，该技术通过将复杂问题分解为一系列真假命题来验证模型生成的答案是否满足所有的问题标准， 并进行精细化评估，实验证明该技术可以帮助发现模型的错误和知识盲区。
large language modelsself-evaluationanswer-based claim decompositionfine-grained evaluationmodel errors
发现论文，激发创造
  • 朝着全面答案更近一步：使用大型语言模型进行约束的多阶段问题分解

    通过引入 “分解和查询”(D&Q) 框架，使得大规模语言模型在回答问题时能够避免幻觉，通过引导模型思考并利用外部知识，同时限制其思考范围在可靠信息内，从而有效减轻了幻觉的风险。实验证实了 D&Q 的有效性：在我们的 ChitChatQA 数据集上，D&Q 在 67％的情况下不输给 ChatGPT；在 HotPotQA 的仅问题设置下，D&Q 获得了 59.6％的 F1 得分。我们的代码可在此 https URL 找到。

    Nov, 2023

  • 生成针对复杂主张进行事实检查的字面和隐含子问题

    本研究关注于将复杂的政治要求分解为全面的是非子问题，通过回答这些问题来判断政治要求的真实性，提供了 ClaimDecomp 数据集和一种训练好的注释方法来研究最先进的模型生成此类子问题，这些子问题可以帮助找到相关证据以审核整个要求并推导真实性。

    May, 2022

  • 知识库复杂问题解答的问题分解树

    本文提出了问题分解树（QDT）来表示复杂问题的结构，同时设计了一个名为 Clue-Decipher 的两阶段方法生成 QDT。针对知识库问答，我们设计了一个分解型问答系统 QDTQA。实验证明，QDTQA 在 ComplexWebQuestions 数据集上优于先前的最新方法，并在 LC-QuAD 附加任务中把已有 KBQA 系统提升了 12% 并取得了新的最佳水平。

    Jun, 2023

  • 分解复杂问题的连续提示

    我们引入了 “连续提示”，通过将一个复杂的任务迭代地分解成简单任务并逐步解决，使得我们在限制监督的情况下，可以利用大型语言模型来回答需要做出潜在决策的复杂问题，并且在问题的分解和回答方面进行分别学习。

    Dec, 2022

  • 深入研究索赔分解

    研究探讨了生成文本的外部知识支持度评估方法，发现该评估方法对于存证方法的选择非常敏感，并提出了一种改进方法来提高分解质量。

    Mar, 2024

  • 通过自我评估引导解码的分解增强推理

    该研究提出了一种有效的提示方法，通过随机波束搜索融合自我评估指导，可以平衡生成链的质量 - 多样性权衡，并在少次学习的情况下，分别在 GSM8K、AQUA 和 StrategyQA 基准测试中比相应的 Codex-backboned 基线高出 6.34％、9.56％和 5.46％的准确度，同时通过细粒度推理又找到并解决了逻辑失误的问题，提高了一致性和鲁棒性。

    May, 2023

  • 问题分解提高模型生成推理的可信度

    通过将问题分解为子问题，强迫模型在不同的上下文中回答简单的子问题，可以显著提高模型生成推理的可靠性，并在一定程度上提升效能，从而有望验证 LLM 行为的正确性和安全性。

    Jul, 2023

  • ABCD：一种将复杂句子转换为简单句子覆盖集的图结构

    该研究提出了一种新的任务来将复杂的句子分解成简单的句子，并基于图形编辑建立了神经模型来处理该问题，使用 DeSSE 数据集进行验证，从输出图形生成句子，以实现原子句子的数量的高准确性。

    Jun, 2021

  • 复杂问答中的问题分解中基于背景的能力转移

    通过选择相关任务的可用数据源，将复杂问题分解为简单问题或生成逐步推理的依据，并为选择示例提出自动的不确定性感知的范例选择方法，ICAT 在不涉及任何模型训练的情况下表现出优于现有基于提示的解决方案的性能，展示了重复使用现有能力的好处。

    Oct, 2023

  • 一个问题分解单元就足够了吗？

    研究者们探讨了一种新的方法通过人在内的 NLP 研究，在不建立新模型的情况下，通过将数据分解为模型更易于回答的一系列简单问题来提高模型性能，证明了这种方法的可行性，可以作为建立大型语言模型的替代方案。

    May, 2022