ACLApr, 2024

铺设锚点：语言建模中数字的语义启发

PDF
TL;DR通过生成受语料库中数字分布控制的锚点，我们引入了一种在任何语料库中语义化编码数字的策略，从而能够提供这些数字标记的数学基础表示。通过对一系列涉及从 1 到 10 亿的数字的数学任务的评估，我们证明了我们提出的技术的优越性，并展示了我们所学嵌入的数学基础的显著改进。
发现论文，激发创造
  • 反思：通过解线性方程组反向引导语言模型进行数值推理

    本文提出了一种利用锚定数字来诱发和利用预先训练的语言模型潜在的数字推理知识的新方法，通过在复杂的数字上应用简单的锚定数字隐含的推理表达式，以显式地得到相应的答案并训练语言模型的数字推理能力。实验结果表明该方法显著提高了现有语言模型的数字推理能力。

    Oct, 2022

  • NLP 模型是否了解数字？探究嵌入中的数字能力

    探讨了 NLP 模型对数字理解（数值能力）的处理方法，发现现有的模型在 DROP 数据集上表现优秀，并在合成的数字相关任务上检验了 BERT、GloVe 等词向量方法，发现字符级别的嵌入方式更加精确，ELMo pre-training 方法的准确性最好。

    Sep, 2019

  • 数字嵌入学习

    本文提出了两种新的数字嵌入方法来解决现有词嵌入方法中数字嵌入学习效果不佳的问题，使用这种方式表示数字嵌入的方法，可以被插入到现有的词嵌入方法中进行训练，并在包括词相似度、数字预测和序列标记等四个内在和外在任务中得到了有效性的验证。

    Dec, 2019

  • 探索语言模型中的内部数理能力：ALBERT 的研究案例

    该研究提出了一种方法来研究 Transformer 语言模型内部如何表示数字数据，并使用该方法分析了 ALBERT 语言模型系列。通过主成分分析（PCA），我们提取这些模型用于表示数字和序数的令牌的学习嵌入，PCA 结果显示不同大小、训练和初始化分开的 ALBERT 模型一致地学习使用变化最大的轴来表示各种数值概念的近似排序，数字及其文本对应部分分别在不同的簇中表示，但在 2D 空间中沿着相同的方向增长。我们的发现表明，纯粹用于建模文本的语言模型可以理解基本的数学概念，为与定量推理交叉的 NLP 应用开辟了新的发展路径。

    Apr, 2024

  • 数字基础语言模型用于语义错误校正

    本研究改进了基于自然语言处理的语义错误检测和纠正模型，引入了数字基础模型，并在临床报告中得到了有效验证。

    Aug, 2016

  • 克服语言模型中技能注入的障碍：以算术为例的案例研究

    提出一种信息论干预的新型框架，以克服向语言模型注入非语言技能时发生的语言技能灾难性遗忘，从而使语言模型在保留语言能力的同时也具备数学推理的能力。

    Nov, 2022

  • 无回归估计数字

    改变语言模型的词汇表，而不是架构，可以更好地处理数字；在预测掩码数字和数值事实估计方面具有相似的性能，这要归功于仔细设计的标记化方案。

    Oct, 2023

  • 如何利用数字嵌入来表示数字？

    本研究探索数学先验的使用，通过计算聚合的数字嵌入，将其明确地融入到转换器模型中，并通过添加特殊标记或引入附加损失函数来实现。我们评估了这种明确聚合的有效性，分析了其优势和不足，并讨论了更好地从这种方法中受益的未来方向。我们的方法虽然简单，但与任何预训练模型兼容，只需要几行代码，并已公开可用。

    Jul, 2024

  • 语言模型的数值能力评估与提升

    探索用语言模型建模数字的不同策略，提出使用连续概率密度函数来建模开放词汇中数字的新型神经架构，并在临床和科学数据集上进行评估表明使用分层模型可显著提高困惑度指标，连续概率密度函数模型相较于其他策略可分别将平均绝对百分比误差降低 18％和 54％。

    May, 2018

  • NumGPT：提升生成式预训练模型的数学能力

    本文提出了 NumGPT，这是一种专门用于数学推理的预训练模型，其采用枚举法嵌入来明确地表示文本中的数字特性，并设计了一种数字感知的损失函数，该模型在评估数字能力时的结果表明，其在测量估计、数字比较、数学问题和数量分类等一系列数学推理任务上优于基线模型（如 GPT 和带 DICE 的 GPT）。

    Sep, 2021