Oct, 2022

自由文本理由的信息理论评估

PDF
TL;DR提出了一种基于信息论的度量方法 REV，可以量化自由文本推理中支持给定标签的理由中的新信息，并通过定量比较证明该方法较现有指标能够更敏感地测量文本中新信息的能力，此度量方法还与人类评判的评估结果一致，为模型的推理和预测过程提供更深入的洞见，尤其在与传统性能度量结合使用时表现良好。
explainable airationale evaluationinformation-theoretic perspectiverevfew-shot prompting
发现论文，激发创造
  • RORA: 强健自由文本理由评估

    通过评估条件性 V - 信息以及对容易被小型模型利用的敏感特征进行鲁棒性评估，我们提出了一种针对标签泄漏的强韧的自由文本基于理由的评估方法 RORA，它在评估人类编写、合成或模型生成的基于理由时提供了更可靠和准确的度量，尤其是对于标签泄漏展现出了鲁棒性。

    Feb, 2024

  • 评估自由文本解释的理由标签一致性指标

    提出了一个名为 FRAME 的框架，它是一个评估自由文本 rationale 的一致性度量的框架。我们发现现有的度量无法满足 FRAME 的三个公理，因此引入了一个新的非预训练 RLC 指标，在最大化 RLC 的同时很好地适应了语义扰动。最后还讨论了使用 RLC 评估自由文本 rationale 的局限性。

    Jul, 2022

  • 标签和自由文本原因之间的相关性测量

    该研究探讨了自然语言理解中的可解释性问题，通过研究有理据的例子，并提出了一种能够联想标签和理由的度量方法，成功地验证了新的联合模型在生动文本解释方面的可信度。

    Oct, 2020

  • 文本解释中的信息测量

    通过将解释信息放在信息论框架中，我们提出并量化了两种文本解释方法的信息流，并提供了对它们进行评估的工具和标准，从而为可解释的 AI 领域建立了严格和标准化的评估标准。

    Oct, 2023

  • 生成的自由文本理由在主观决策中的说服力：一项关于两两论证排名的案例研究

    分析了使用大型语言模型生成的自由文本解释对于主观答案的重要性，并评估了九个开源语言模型生成的自由文本解释的说服力，结果显示主观排序任务中 Llama2-70B-chat 模型的解释具有高度说服力，超过了 GPT 模型，并发现通过引导或自我改进可以提高解释的说服力。

    Jun, 2024

  • 从像素到语义框架到常识图谱的全栈视觉推理自然语言理由

    本文介绍了首个以生成自然语言解释为中心的研究，该研究关注复杂的视觉推理任务，包括视觉常识推理、视觉文本蕴含和视觉问答。文章提出了 Rationale^VT Transformer，该模型通过结合预训练的语言模型、对象识别、基于视觉的语义框架和视觉常识图生成自由文本解释，实现了全面的图像理解，并且实验证明，自然语言解释是用于复杂视觉 - 文本推理任务的一种具有前景的研究方向。

    Oct, 2020

  • 评估和表征人类理由

    本研究提出了两种度量机器生成的理由质量的方法，分别是使用人工理由作为金标准和基于理由对模型行为的影响的自动化指标。然而，人工理由与这些自动化指标的匹配程度仍存在问题。我们提出了改进的指标来解决这个问题，并提出了两种方法来进一步表征理由质量，一种是基于模型再训练，另一种是使用 “保真度曲线” 来揭示诸如无关性和冗余性等特性。我们的研究提出了实际的建议，以评估和表征理由。

    Oct, 2020

  • 机器理由（未必）对人类有用吗？衡量和提高自由文本理由的人类效用

    大型语言模型可生成可用理性，但其人类实用性不佳，因此我们提出了一个自动化评分系统 GEN-U 来衡量基于无人参与的人类实用性的帮助性，并最大限度地保持任务绩效。

    May, 2023

  • 说服性的视觉问答推理理由

    通过对图像和问题对的预测答案生成视觉和文本理由，从而在零样本评估设置中实现了竞争性性能。

    Feb, 2024

  • 关系抽取的连续理由提取：合理思考所见

    本文提出了一种新的关系抽取框架 RE2，通过运用连续性和稀疏性因素来获取有关联且连贯的理由，从而解决了保留相关内容和移除噪声段落的难题。

    May, 2023