numerical reasoning | BriefGPT

关键词numerical reasoning

搜索结果 - 52

语言模型能进行概率推理的可能性
评估语言模型在概率推理能力上的表现，并通过使用理想化和真实统计分布的方式进行系统评估，包括估计百分位数、生成样本和计算概率等三个任务。我们发现，语言模型通过对分布进行推断，并结合真实世界的背景、示例和简化假设等方式可以提高推理能力。我们还开
PDF14 days ago
基于案例推理的金融问答解决方法
通过引入案例推理和扩展案例库，我们提出了一种用于解决金融文档中的数字推理问题的新方法，该方法在 FinQA 数据集上表现出竞争性能，并显示出了复杂多步骤程序的解决能力。
PDFa month ago
Tokenization 计数: Tokenization 对前沿 LLM 模型中的算术的影响
数字分词选择对算术任务模型效果产生显著影响；使用从右到左的分词方式能够明显提升性能，并显示出模型计算具有系统性；针对左到右分词方向模型的错误模式进行了深入分析，发现模型能够轻松转换分词方式
PDF4 months ago
FormulaQA：一个基于公式的数值推理问答数据集
通过使用存在的公式驱动的 FormulaQA 数据集，得出了使用检索增强的 LLMs 模型结合外部公式数据库时对现有模型具有重要改进潜力的实证结果。
PDF4 months ago
可靠推理过程指导下的数值推理增强
通过分解答案公式以确保支持答案的可靠推理过程，Encore 方法在所有五个实验数据集上平均提高了 1.8%，证明了该方法的有效性。
PDF5 months ago
SportsMetrics: 融合文本和数值数据以理解 LLM 中的信息融合
大型语言模型在整合文本文档和数据库记录等各种数据类型进行高级分析方面具有重要潜力。然而，混合文本和数值数据面临着很大的挑战。本文介绍了围绕体育数据分析的四个新颖任务，用于评估大型语言模型的数值推理和信息融合能力。这些任务涉及提供详细的场上比
PDF5 months ago
跨模态知识图谱的综合数理推理方法：材料性质预测
利用机器学习技术预测材料性质是一个关键的研究课题。本文提出了一种数值推理方法用于材料知识图谱，通过构建跨模态知识图谱并利用图神经网络来预测材料性质，实现了处理跨模态数据、挖掘关系和跨模态信息、充分利用实验数据的目标。文章还引入了两个新的高熵
PDF7 months ago
DocMath-Eval：评估 LLMs 在理解带表格数据的长文档中的数值推理能力
该论文介绍了 DocMath-Eval，这是一个特意设计用于评估具有理解和分析既包含文本又包含表格的金融文件的 LLMs 的数值推理和问题解决能力的综合基准测试。我们评估了 19 个 LLMs 的广泛领域的表现，并采用不同的提示策略来全面评
PDF8 months ago
EMNLP探索语言模型的数值推理能力：对表格数据进行综合分析
这篇论文提出了一个层次化的数值推理技能分类法，涵盖四个级别的十多种推理类型。通过对先进模型进行全面评估，并开发了一组多样化的数值探针，论文发现在所有数值推理类型中，FlanT5（无 / 少数据）和 GPT-3.5（少数据）相对其他模型表现出
PDF8 months ago
EMNLPMarkQA：一个具有数值推理的大规模知识库问答数据集
本文提出了一个新的任务，NR-KBQA，它需要进行多跳推理和数值推理。我们使用 Python 格式的逻辑形式 PyQL 设计了数值推理问题的推理过程，并提供了一个名为 MarkQA 的大型数据集，用于促进 NR-KBQA 的开发。实验结果表
PDF8 months ago
GPT 司机：用 GPT 学习驾驶
我们提出了一种简单而有效的方法，可以将 OpenAI GPT-3.5 模型转化为可靠的自动驾驶车辆动作规划器。
PDF9 months ago
探索方程作为更好的数值推理中间意义表示
使用数学公式作为中间意思表示（IMR）方法，通过减少程序和生成常数表达式的倾向，来提高大型语言模型（LLMs）生成数学公式的准确性，取得了 2.2%、0.9% 和 1.7% 在 GSM8K、SVAMP 和代数数据集上的性能提升。
PDF10 months ago
ACLFERMAT：数字推理中的非精确度替代方案
文章介绍了 FERMAT（英语数值推理的多维视角评估集），它通过对数值理解、数学操作和训练依赖等关键数值推理方面进行评估，提供了关于已有模型在不同数值推理方面的优势和劣势的全面评估，并能够系统化自动生成任意大规模的训练或评估集。
PDFa year ago
ACLMultiTool-CoT: GPT-3 可使用多个外部工具，通过思维链提示
提出一种名为 MultiTool-CoT 的新型架构，通过链式思考提示（CoT prompting）引入多种外部工具（如计算器和知识检索器）来执行推理，进一步改善大语言模型（LLMs）在各种推理任务上的表现，将其应用于 NumGLUE 的任
PDFa year ago
ToolkenGPT: 利用工具嵌入增强冻结语言模型
本研究提出了一种名为 ToolkenGPT 的方法，通过 in-context learning 实现大量工具集的无缝扩展，从而有效提升了 LLM 在数字推理、问题回答和行动计划生成等领域中的性能表现。
PDFa year ago
面向表格和文本混合数值推理的全面解决方案程序化预训练
本文提出了三个预训练任务，具体包括：变量完整性排名（Variable Integrity Ranking）；变量操作符预测（Variable Operator Prediction）；变量关键词屏蔽（Variable Keyphrase M
PDFa year ago
ChatGPT 和 GPT-4 是否能够作为金融文本分析的通用求解器？对几个典型任务的考察
本研究旨在探讨 ChatGPT 和 GPT-4 在金融文本分析中的应用潜力，发现它们在数字推理任务上表现出色，但在需要领域特定知识的任务（如金融命名实体识别和情感分析）上表现糟糕。该研究比较了这两个模型与业界最佳现成模型和领域特定生成模型的
PDFa year ago
多视图图表示学习用于回答混合数值推理问题
本文提出了一种使用多视图图形编码器来对文本和表格数据进行混合问答 (Hybrid question answering) 的方法，以解决现有方法中文本和表格数据之间粒度关系和空间结构信息的问题，并在公共数据集 TAT-QA 上取得了最优性能
PDFa year ago
AAAISlideVQA：多图文档视觉问答数据集
提出了一个包含多种信息的文档图像的逻辑问答系统，包括视觉、文本和排版信息。SlideVQA 是一个用于复杂推理的新的多图像文档数据集，利用序列到序列模型同时处理证据选择和问题回答。实验结果表明，该方法在 SlideVQA 数据集上表现出了较
PDFa year ago
MatCha：利用数学推理和图表解渲染增强视觉语言预训练
MatCha 通过数学推理与图解构造预训练，增强了视觉语言模型的建模能力，成功提高了如 PlotQA 和 ChartQA 等标准基准测试的表现，证实了该方法在更广泛的视觉语言任务上的有效性和可行性。
PDF2 years ago