faithfulness metrics | BriefGPT

关键词faithfulness metrics

搜索结果 - 9

研究生成文本中细粒度引文评估：忠实度度量的比较分析
基于综合评估框架的结果显示，没有一个单一的度量标准在所有评估中始终优秀，揭示了细颗粒度支持评估的复杂性，因此我们提供了制定更有效度量标准的实践建议。
PDF13 days ago
ICLR模型大小对通过 LIME 解释 LLM 的影响
通过对四个不同尺寸的 DeBERTaV3 模型在自然语言推理和零样本分类任务上的 LIME 解释进行评估，发现模型尺寸的增加并不与合理性相关，尽管模型性能有所提高，这表明随着模型尺寸的增加，LIME 解释与模型内部过程之间存在不一致。我们的
PDF2 months ago
ICLRGInX-Eval：面向图神经网络解释的分布内评估
采用 GInX-Eval 评估程序，本研究揭示了解释性方法的限制，并提供了新的见解；结果表明，包括基于梯度的方法在内的许多流行方法产生的解释并不优于将边界随机选择为重要子图，这对当前领域的研究成果提出了质疑。
PDF9 months ago
对自然语言处理中可解释性度量的质疑：对谁忠诚？
该研究论文探讨了模型可解释性的常见方法，并指出了当前的可信度度量指标的局限性以及合理利用它们的关键考虑因素。
PDFa year ago
ACL略施推力，NLI 模型可鲁棒高效地预测忠实度
本文提出了一种利用数据增强和鲁棒推理过程将单纯的 NLI 模型用于预测语言模型忠实度的方法，应用于 TRUE 基准来说效果显著且计算代价较小。
PDFa year ago
ACL融入归因重要性以提高忠实度度量
本文提出了一个简单而有效的软擦除标准，用于计算特征归因方法的充分性和全面性，实验结果表明，相较于硬擦除标准，该方法更好地反映了预测的重要部分，适用于自然语言处理中的各种任务与不同特征归因方法。
PDFa year ago
基准测试忠实度：关于在视觉语言任务中实现准确的自然语言解释
本文探讨了目前逐渐普及应用的神经模型的透明度和可理解性的需求，提出了三种可信度测量方法，并在对不同模型架构的比较中使用 VQA-X 和 e-SNLI-VE 数据集进行了评估。
PDFa year ago
长篇医疗记录摘要忠实性计量方法的元评估
本研究基于 HIV 病人的病例史，对临床文本摘要的可信度指标进行评估，从医学专业人员和患者两方面来获得实际应用价值。评估表明，大多数指标在提供与源文本相关的最小信息上，可显著提高其与人类判断的相关性。
PDFa year ago
ED-FAITH: 评估对话摘要的忠实度
本文提出系统研究 faithfulness metrics 在对话摘要任务上的应用，发现对于绝大部分度量方法而言，在对话数据上的表现与人类判断的相关性较差。为了提高 faithfulness metrics 在对话摘要任务上的性能，我们还采
PDF2 years ago