faithfulness | BriefGPT - AI 论文速递

关键词faithfulness

搜索结果 - 85

规则、自解释和领域不变的 GNN 的忠诚度的利弊
当我们对图神经网络的预测进行解释时，准确可信的解释是至关重要的。我们发现现有的指标在可信度方面并不可替代，但它们可能对解释的重要属性具有系统性不敏感性，针对这些问题提出了解决方案。对于一类特定的图神经网络结构，追求完全准确可信的解释是没有意
PDF11 days ago
ACL对话摘要中的 LLM 行为分析：揭示环境幻象趋势
最近大规模语言模型在摘要系统的能力方面取得了重大进展；然而，仍然存在关于虚构信息的担忧。本研究评估了对话摘要中大语言模型的准确性，使用人工注释，并着重于识别和分类分段级别的不一致性。通过比较行为差异，我们提出了一种错误的细分分类方法，并引入
PDFa month ago
FTS：寻找忠诚时筛的框架
我们提出了一个旨在解决 TimeSieve 中不可靠性问题的框架，旨在提高模型的稳定性和可靠性，确保输出对上述因素的影响较小。实验证实了我们提出的框架的有效性，展示了模型行为的改进。我们计划扩大实验范围，进一步验证和优化我们的算法，以确保在
PDFa month ago
适用于零样本音频分类器的可听地图
这篇论文介绍了一种解释零样本音频分类器决策的基于解码器的事后解释方法 LMAC-ZS，并通过使用 CLAP 模型进行评估，显示该方法在零样本分类环境中保持了对决策的忠实，并且与不同的文本提示相关的产生了有意义的解释。
PDFa month ago
量化和优化基于人物的角色扮演中的全球忠实度
该研究提出了一种量化 PRP 忠实度的创新方法，通过从 Active-Passive-Constraint（APC）得分入手，将所有约束合并成一种解释性评估标准。同时，在实验中验证了此评分系统的质量，并将其用于直接偏好优化（DPO）中，以获
PDF2 months ago
可解释性需要新范式
解释性是将模型以可理解的方式解释给人类的研究。目前，解释性分为两个范式：内在范式认为只有设计为可解释的模型才能解释，后处理范式认为黑盒模型也能解释。在这个辩论的核心是每个范式如何确保其解释是忠实的，即与模型行为一致。本文的立场是我们应该思考
PDF2 months ago
在视觉语言概念瓶颈模型中改善概念对齐
通过专家定义的概念而不是语言模型生成的概念构建可靠的 Concept Bottleneck Models（CBM），提出了一种使用少量标注的概念示例改善模型概念对齐的对比半监督学习方法，实验证明该方法显著提高了概念准确度和分类准确度。
PDF2 months ago
基于概念的解释的可读性和忠实度评估
使用概念可信度和可读性作为评估概念解释的方法，通过量化忠诚度和自动测量可读性来解决黑箱模型的透明度问题。通过可靠性和有效性进行元评估，验证并选择概念评估措施。
PDF2 months ago
IJCAIFLDM-VTON：用于虚拟试衣的忠实潜在扩散模型
虽然虚拟试衣（VTON）基于潜在扩散模型的生成性能令人印象深刻，但缺乏对衣物关键细节（如风格、图案和文字）的忠实性。为了缓解由扩散随机性和潜在监督引起的这些问题，我们提出了一种新颖的面向 VTON 的忠实潜在扩散模型，称为 FLDM-VTO
PDF2 months ago
ACL使用领域条件互信息缓解抽象摘要中的虚构现象
通过基于领域条件点间互信息（domain-conditional pointwise mutual information）的解码策略，本研究解决了抽象摘要中存在的幻觉问题（hallucination）以及模型偏差（model bias），
PDF3 months ago
FABLES：评估长篇书籍摘要的忠实性与内容选择
通过对虚构书籍的长篇小说生成概述的大规模人类评估，本论文揭示了长篇大语境语言模型在生成摘要时的忠实度和内容选择方面的问题，并且提出了检测生成的摘要中不忠实内容的重要性，同时也探讨了在书籍概述中与关键故事元素相关的遗漏错误以及朝末尾发生事件的
PDF3 months ago
忠诚与可信性是否相冲突？在自然语言处理任务中的可解释人工智能的经验研究
通过对情感分析、意图检测和主题标记等三个自然语言处理任务中选定的易解释算法与专家解释方法的综合定量比较，我们的研究表明，传统的基于扰动的方法 Shapley value 和 LIME 可以同时实现更高的准确度和用户可访问性，与模型的推理过程
PDF3 months ago
以信为本：在寻找模型机制时超越电路重叠
通过引入 EAP-IG 方法，本文旨在更好地保持电路的核心属性：忠诚度。我们的实验证明，使用 EAP 找到的电路比使用 EAP-IG 找到的电路更不忠诚，尽管两者在与之前使用因果干预发现的电路的节点重叠方面都很高。总之，在使用电路来比较模型
PDF3 months ago
ACL多语言和单语细调语言模型的解释忠实度比较
在实际的自然语言处理应用场景中，研究人员不仅希望提高预测性能，还寻求模型预测的准确解释。已有研究探讨了不同因素对解释的准确性的影响，但多语言和单语言模型之间解释的准确性差异尚未探索。通过对五种语言和五种常用特征归因方法进行广泛实验，我们发现
PDF3 months ago
低资源环境下的预训练语言模型解释与归因分析
通过分析从基于提示的模型中提取的归因得分的合理性和忠实性，并将其与从微调模型和大型语言模型中提取的归因得分进行比较，我们发现使用基于提示的范例（无论是基于编码器的模型还是解码器的模型）比在低资源环境下微调模型产生更合理的解释，并且 Sha
PDF4 months ago
串联思维不忠诚的伪装准确性
理解链状思维生成在大型语言模型内部计算中的程度对于决定是否信任语言模型的输出至关重要。在评估模型大小与忠实度的关系时，我们发现存在着一种扩大然后逆向缩小的关系，而 130 亿参数模型比其大小范围在 8.1 亿到 1750 亿参数的模型表现出
PDF4 months ago
TofuEval: 评估 LLL 在主题焦点对话摘要的虚幻现象
单个文档新闻摘要在保真度方面取得了显著进展，但我们提出一种新的评估基准，研究在以话题为焦点的对话摘要领域中存在的事实一致性问题和虚构错误类型。
PDF4 months ago
通过多智能体辩论实现忠实可解释的事实核查
我们的研究调查了大型语言模型生成解释的能力，发现零样本提示通常导致不忠实的结果。为了解决这些挑战，我们提出了多代理辩论修正（MADR）框架，利用多个具有不同角色的大型语言模型作为代理，在迭代的修饰过程中提高了生成解释的忠实性。MADR 确保
PDF5 months ago
大型语言模型作为忠实的解释器
介绍了一种提高大型语言模型的自然语言解释质量的生成解释框架 xLLM，该框架通过评估器和迭代优化过程来最大化生成解释的忠实度分数，实验证明 xLLM 可以显著提高生成解释的忠实度。
PDF5 months ago
忠实性与可信度：大型语言模型解释的（不）可靠性
大型语言模型的自解释性及其在高风险决策中的忠诚度与可信度之间的矛盾。
PDF5 months ago