self-consistency | BriefGPT

关键词self-consistency

搜索结果 - 30

通过深度平衡模型将自洽性融入密度泛函理论哈密顿量预测
该研究介绍了一个统一的神经网络架构，Deep Equilibrium Density Functional Theory Hamiltonian (DEQH) 模型，它结合了 Deep Equilibrium Models (DEQs) 来
PDFa month ago
通过再修复自洽评估评估图像修复
对于缺乏信息的条件下的图像修复问题，传统评估方法的偏见导致其倾向于某些结果，本文提出了一种基于多次重新修复的自我监督度量方法，强调自我一致性原则，旨在有效降低偏见并探索多种有效的图像修复解决方案。通过在多个基准测试中的广泛实验，验证了评估方
PDFa month ago
ACLMIDGARD: 使用最小描述长度进行结构化常识推理的自一致性
使用大型语言模型生成推理图的结构化推理任务中，我们提出了一种基于自洽性和最小描述长度 (MDL) 的方法 (MIDGARD)，它通过对不同图样本进行一致属性的鉴别，从而在保持精确度的同时拒绝错误属性并包含遗漏元素，表现出超越其他结构化推理任
PDF2 months ago
视觉与语言解码器是否平等使用图像和文本？它们的解释是否自洽？
本研究探讨了视觉和语言模型在生成解释时与提供答案时对模态的依赖程度，并评估了视觉和语言模型解码器在后 - hoc 和 CoT 解释设置中的自我一致性，发现视觉和语言模型的自我一致性不如纯语言模型，对图像的贡献要远小于文本的贡献，尤其是在解释
PDF2 months ago
自洽性提升数学推理的校准
我们设计了三种基于自洽性的成熟校准方法，用于数学推理任务的 LLM 发展。通过使用开源 LLMs（Mistral 和 LLaMA2）在 GSM8K 和 MathQA 两个流行的基准上进行评估，我们的方法在模型置信度和准确性之间建立了更好的联
PDF4 months ago
更准确的开放式回答的自洽解码
通过将多个样本与先前的选择相结合，基于简单的令牌重叠评分，我们将 “Sample & Select” 方法与其他几种解码算法进行比较，证明其在基于 NLI 的 CNN/DM 和 XSum 子集的 FRANK 基准测试中，相对于其他解码算法（
PDF4 months ago
从全文档中提取聚合物纳米复合材料样本
使用大型语言模型（LLMs）从材料科学研究论文中提取聚合物纳米复合材料（PNCs）的样本列表，介绍了一个新的基准和评估技术，并探讨了不同的提示策略和自一致性的应用，结果显示即使是先进的 LLMs 也很难从文章中提取出所有的样本，同时分析了遇
PDF4 months ago
对大型多模态模型进行常见冲突的基准测试
填补大型多模型（LMMs）评估中的不足，通过研究其输出在常见破坏情况下的自一致性，调查文本、图像和语音之间的跨模态交互，创建了一个综合性基准 MMCbench，评估了 100 多个受欢迎的 LMMs（共 150 个模型检查点），此全面评估对
PDF5 months ago
ICLR逃离高昂成本：多步推理的早停自一致性
我们提出了一种简单且可扩展的采样过程 ESC，用于减少 Self-consistency 的成本，并在不牺牲性能的情况下动态选择性能成本平衡的控制方案。通过在算术、常识和符号推理任务上进行实验证明，ESC 显著降低了链式思维推理的平均采样数
PDF5 months ago
大型语言模型生成的通用自一致性
利用大型语言模型采样的多个推理路径，结合自我一致性和链式思维提示，在各种具有挑战性的任务上取得了显著的性能提升。本研究提出了一种通用的自我一致性方法（USC），它利用语言模型自身从多个候选答案中选择最一致的答案。我们在包括数学推理、代码生成
PDF7 months ago
面向大规模精细图像检索的属性感知深度哈希与自一致性
本研究提出了一种面向大规模细粒度图像检索的属性感知哈希网络，通过生成属性感知哈希码，既能提高检索效率，又能建立哈希码和视觉属性之间的明确对应关系。在无监督的条件下，通过注意力捕获视觉表征并开发一个编码器 - 解码器结构网络的重构任务，从外观
PDF7 months ago
大型语言模型是否具有时间性基础？
大型语言模型在时间上没有实质依据，缺乏自洽性并且表现出不一致的行为性。
PDF8 months ago
再问一次：自我一致性提升（几乎）所有情境下的语言模型推理能力
通过自一致性和自一致性来解决链式思考提示中的贪婪解码的问题，并提出了自一致性的方法，它能够在几乎所有场景中得到优化，同时在六个公开推理基准中表现出显著的性能和卓越的普适性。
PDF8 months ago
关于衡量自然语言解释的可信度
大型语言模型 (LLMs) 可以通过后期或思维链 (CoT) 解释自己的预测结果，但模型可能会提供合理但不准确的解释。本文对现有的忠诚度测试进行了评估，认为这些测试实际上只测量了模型输出的自我一致性，而非其内部工作的忠诚度。作者提出了基于自
PDF8 months ago
超越准确性：使用 IdentityChain 评估编程领域的大型语言模型的自一致性
Code Large Language Models (Code LLMs) are evaluated for their self-consistency and general accuracy using the IdentityC
PDF8 months ago
EMNLP大规模语言模型在歧义下的自一致性
在含糊的整数序列填充任务中，我们在 OpenAI 模型套件上进行了一系列行为实验，发现平均一致性介于 67％和 82％之间，远高于模型一致性随机的预测，并随着模型能力的提高而增加。此外，我们发现模型在自我一致性上具有不良标定性，并且通常倾向
PDF8 months ago
ACL关于归纳性自然语言推理的自洽叙述提示
本文针对故事理解和自然语言推理中的演绎问题，提出了一种考虑自洽性和句间连贯性的模型，并通过大量的实验和剖析研究来证明其必要性和有效性。该方法在与竞争基线模型的比较中表现出显著的改进。
PDF10 months ago
大型语言模型中的后向推理用于验证
提出了一种结合前向和后向推理的新方法，称为 FOBAR，通过用简单模板生成问题并要求 LLM 预测被掩码的标记来验证候选答案，实验证明 FOBAR 在各种推理基准上达到了最先进的性能。
PDFa year ago
开放式生成的自我一致性
本文介绍了一个新的方法，通过扩展自一致性的应用范围并使用轻量级无参数相似函数，改善了大规模预训练语言模型生成的质量和一致性，包括代码生成、自动格式化和文本摘要任务。
PDFa year ago
多数原则：自洽性更好的修补
本文介绍了将基于自我一致性的技术应用于程序修复，并使用提交日志作为解释性示例输入来实现此目标，该方法在 MODIT 数据集上取得了领先的效果。
PDFa year ago