EMNLPSep, 2019

NLP 模型是否了解数字？探究嵌入中的数字能力

PDF
TL;DR探讨了 NLP 模型对数字理解（数值能力）的处理方法，发现现有的模型在 DROP 数据集上表现优秀，并在合成的数字相关任务上检验了 BERT、GloVe 等词向量方法，发现字符级别的嵌入方式更加精确，ELMo pre-training 方法的准确性最好。
numeracynlp modelsquestion answeringtoken embeddingcharacter-level embeddings
发现论文，激发创造
  • 语言模型的数值能力评估与提升

    探索用语言模型建模数字的不同策略，提出使用连续概率密度函数来建模开放词汇中数字的新型神经架构，并在临床和科学数据集上进行评估表明使用分层模型可显著提高困惑度指标，连续概率密度函数模型相较于其他策略可分别将平均绝对百分比误差降低 18％和 54％。

    May, 2018

  • 自然语言处理中的数值表示：调研与展望

    综合分类了 NLP 中与数字相关的任务和方法，分析了 18 种数字编码器和解码器的多样性代表性选择和最佳实践，提出了在自然语言处理中实现整体数字能力的愿景，并明确了设计考虑和统一评估。

    Mar, 2021

  • 如何利用数字嵌入来表示数字？

    本研究探索数学先验的使用，通过计算聚合的数字嵌入，将其明确地融入到转换器模型中，并通过添加特殊标记或引入附加损失函数来实现。我们评估了这种明确聚合的有效性，分析了其优势和不足，并讨论了更好地从这种方法中受益的未来方向。我们的方法虽然简单，但与任何预训练模型兼容，只需要几行代码，并已公开可用。

    Jul, 2024

  • 通过将数字视为实体来提高下游任务性能

    本研究利用最先进的自然语言处理模型及其分类能力，将数字分类为实体，从而使 NLP 模型在多项任务中具备更好的表现，超越了 BERT 和 RoBERTa 的基线分类结果。

    May, 2022

  • 语言模型对数字的理解，至少在某种程度上

    研究表明大型语言模型在理解和利用数字以及在数学问题上进行计算方面具有部分能力。

    Jan, 2024

  • 数字嵌入学习

    本文提出了两种新的数字嵌入方法来解决现有词嵌入方法中数字嵌入学习效果不佳的问题，使用这种方式表示数字嵌入的方法，可以被插入到现有的词嵌入方法中进行训练，并在包括词相似度、数字预测和序列标记等四个内在和外在任务中得到了有效性的验证。

    Dec, 2019

  • NumGPT：提升生成式预训练模型的数学能力

    本文提出了 NumGPT，这是一种专门用于数学推理的预训练模型，其采用枚举法嵌入来明确地表示文本中的数字特性，并设计了一种数字感知的损失函数，该模型在评估数字能力时的结果表明，其在测量估计、数字比较、数学问题和数量分类等一系列数学推理任务上优于基线模型（如 GPT 和带 DICE 的 GPT）。

    Sep, 2021

  • 探索语言模型的数值推理能力：对表格数据进行综合分析

    这篇论文提出了一个层次化的数值推理技能分类法，涵盖四个级别的十多种推理类型。通过对先进模型进行全面评估，并开发了一组多样化的数值探针，论文发现在所有数值推理类型中，FlanT5（无 / 少数据）和 GPT-3.5（少数据）相对其他模型表现出强大的整体数值推理技能。标签颠倒探针表明模型经常利用数据集的特征来预测正确的标签。

    Nov, 2023

  • 探索语言模型中的内部数理能力：ALBERT 的研究案例

    该研究提出了一种方法来研究 Transformer 语言模型内部如何表示数字数据，并使用该方法分析了 ALBERT 语言模型系列。通过主成分分析（PCA），我们提取这些模型用于表示数字和序数的令牌的学习嵌入，PCA 结果显示不同大小、训练和初始化分开的 ALBERT 模型一致地学习使用变化最大的轴来表示各种数值概念的近似排序，数字及其文本对应部分分别在不同的簇中表示，但在 2D 空间中沿着相同的方向增长。我们的发现表明，纯粹用于建模文本的语言模型可以理解基本的数学概念，为与定量推理交叉的 NLP 应用开辟了新的发展路径。

    Apr, 2024

  • 由语言模型发展而来的数据科学：从文科到数科

    研究表明，大型语言模型在将读写能力转化为计算能力方面存在翻译难题，但通过对所描述的四个复杂数据集的统计分析，结合不能通过简单规则编码或记忆的算术操作，可以推断大型语言模型具备对数据分组 / 枢轴分类求和、推导相关性、演绎特征权重以及使用线性回归预测海量数据的能力。

    Jan, 2023