numeracy | BriefGPT - AI 论文速递

关键词numeracy

搜索结果 - 6

变压器能够通过正确的嵌入进行算术运算
通过在每个数字上添加编码其相对于数字起始位置的嵌入，解决了 transformers 在算术任务中表现较差的问题，并展示了该修复方法进一步提高性能的架构修改方法。通过解决位置问题，研究了 transformers 的逻辑推理能力，并发现通过
PDFa month ago
LUNA：利用数值插件和预训练对变形金刚模型进行数字增强的语言理解
本文提出了 LUNA 框架，利用 NumTok 和 NumBed 插件改进了基于 Transformers 的语言模型的数字推理和计算能力，并在三个大规模的转换器模型上评估了其性能，提高了语言模型的表现。
PDF2 years ago
ACL自然语言处理中的数值表示：调研与展望
综合分类了 NLP 中与数字相关的任务和方法，分析了 18 种数字编码器和解码器的多样性代表性选择和最佳实践，提出了在自然语言处理中实现整体数字能力的愿景，并明确了设计考虑和统一评估。
PDF3 years ago
EMNLP语言嵌入是否涵盖了规模？
本研究探讨了预训练语言模型在把握物体的标量数量方面的表现情况及其在常识推理中的不足，发现语言模型能够捕获相当数量的关于数量的信息，但性能受上下文信息和数字知识的影响，文中提出了一个简单的标准化数字的方法，具有显著的结果改进。
PDF4 years ago
EMNLPNLP 模型是否了解数字？探究嵌入中的数字能力
探讨了 NLP 模型对数字理解（数值能力）的处理方法，发现现有的模型在 DROP 数据集上表现优秀，并在合成的数字相关任务上检验了 BERT、GloVe 等词向量方法，发现字符级别的嵌入方式更加精确，ELMo pre-training 方法
PDF5 years ago
ACL语言模型的数值能力评估与提升
探索用语言模型建模数字的不同策略，提出使用连续概率密度函数来建模开放词汇中数字的新型神经架构，并在临床和科学数据集上进行评估表明使用分层模型可显著提高困惑度指标，连续概率密度函数模型相较于其他策略可分别将平均绝对百分比误差降低 18％和 5
PDF6 years ago