arithmetic tasks | BriefGPT

关键词arithmetic tasks

搜索结果 - 9

语言模型轻松完成难算术任务，但几乎不能完成简单算术任务
大型语言模型在进行算术任务中对多位数乘法的可信准确预测能力较强，而对单位数乘法可信准确预测的能力较差，但在给出正确的高位数字作为条件下，后者任务的可信准确预测能力可以大幅提升。
PDFa month ago
显式编码结构对算术任务的长度泛化至关重要
基于修改后的数字格式化和自定义位置编码，我们的方法允许 Transformer 在加法和乘法中以最多 5 位数的数字进行训练并推广到 50 位数，而无需使用更多的数据来处理更长的序列。
PDFa month ago
位置耦合：利用任务结构优化 Transformer 模型的长度泛化
使用位置耦合方法的 Transformer 可以解决包括多位数的加法在内的算术任务，同时还可应用于其他算法任务。
PDFa month ago
变压器能够通过正确的嵌入进行算术运算
通过在每个数字上添加编码其相对于数字起始位置的嵌入，解决了 transformers 在算术任务中表现较差的问题，并展示了该修复方法进一步提高性能的架构修改方法。通过解决位置问题，研究了 transformers 的逻辑推理能力，并发现通过
PDFa month ago
Tokenization 计数: Tokenization 对前沿 LLM 模型中的算术的影响
数字分词选择对算术任务模型效果产生显著影响；使用从右到左的分词方式能够明显提升性能，并显示出模型计算具有系统性；针对左到右分词方向模型的错误模式进行了深入分析，发现模型能够轻松转换分词方式
PDF4 months ago
位置描述对于 Transformer 算术很重要
通过修改位置编码或者调整算术任务的表示方式来解决使用位置信息解决小数字算术问题时性能较差的问题，并在乘法和加法任务中展示了改进的效果。
PDF7 months ago
使用因果中介分析方法理解语言模型中的算术推理
本研究利用因果中介分析框架对大型语言模型在算术问题上的机制解释进行了研究，结果表明，中后期少量层次的激活对算术问题预测结果产生显著影响，模型对算术问题和事实知识的预测有不同的激活模式，并揭示了语言模型中涉及算术推理的特定组分。
PDFa year ago
Goat：Fine-tuned LLaMA 在算术任务上优于 GPT-4
Goat，用 LLaMA 模型细调后，在一系列算术任务中显著优于 GPT-4，特别是在大数字加法和减法方面表现出了非常高的准确性。对于更具挑战性的任务，如大数字乘法和除法，我们提出了一种根据其可学习性分类任务的方法，并通过利用基本算术原则
PDFa year ago
通过简单的算术任务研究变形金刚的限制
研究了表现形式对于序列到序列的语言模型学习加减法算术任务的影响，发现表现形式对模型的准确性有很大影响；通过引入位置标记，模型可以准确地学习添加和减少 60 位数字。无论参数和训练示例数量如何，模型都不能学习与训练期间数字长度无关的加和规则。
PDF3 years ago