Aug, 2022

用于数学应用问题的异构线图变压器

PDF
TL;DR本文描述一种新的在线学习系统机器学习模型的设计和实现，旨在实现自动的数学题解决器并支持作业批改、难度估算和优先推荐等功能。作者提出了一种新颖的 HLGT 模型，对数学问题进行语义角色标注，构建异质线图并发掘其中的关系，然后使用节点表示学习来提高模型性能。实验结果表明，该模型优于现有模型但仍远低于人类水平。
machine learningmath word problem solverhlgt modelnode representation learningnumerical comparison
发现论文，激发创造
  • HiGPT: 异构图语言模型

    HiGPT 是一个通用的大规模图模型，通过异构图指导调优范式，能够从任意异构图中学习，无需对下游数据集进行任何微调过程，实现模型的适应性和泛化性能。

    Feb, 2024

  • 具有句法信息的异构图变换器问答

    本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

    Apr, 2022

  • 异质图变换器

    本文介绍了一种用于建模 Web 规模异构图的异构图转换器架构（HGT），通过设计基于节点类型和边类型的参数来实现异构性，并引入相对时间编码技术和异构迷你批图采样算法来处理动态异构图数据，实验表明，所提出的 HGT 模型在各种下游任务中始终优于所有最先进的 HNN 基线 9％至 21％。

    Mar, 2020

  • 使用 Transformer 和无歧义表征自动求解算术问题

    本文提出了使用 Transformer 网络将数学问题转化为等价的前缀、中缀和后缀表达式，并使用预训练的通用文本语料库进行训练以提高性能，与以往最先进的方法相比，最好的神经网络方法可将准确率平均提高近 10%。

    Dec, 2019

  • 训练验证程序员解决数学应用题

    介绍一个 8.5K 高质量的语言多样的小学数学问题数据集 GSM8K，表明即便是最大的变压器模型仍然无法在多步数学推理方面实现高的测试性能，提出使用 verifiers 验证模型的正确性并通过排名选择最优解来提高性能。

    Oct, 2021

  • Math-KG：数学知识图谱的构建与应用

    本论文提出一种数学知识图谱（Math-KG），通过自然语言处理技术利用百度百科和维基百科构建，旨在解决在线教育平台上的信息过载和知识跟踪问题，并提供了一个简单的应用系统进行实验验证。

    May, 2022

  • 超图变换器用于半监督分类

    通过全球节点和超边之间的全球关联以及捕捉节点和超边之间的局部连接性，提出了一种新颖的超图学习框架，称为 HyperGraph Transformer（HyperGT），该框架利用基于 Transformer 的神经网络结构来有效地处理超图结构化数据，实现了全面的超图表示学习，并在超图节点分类任务中取得了出色的性能，超过了现有方法，建立了新的基准水平。

    Dec, 2023

  • HGT: 利用异构图增强的大型语言模型进行少样本复杂表格理解

    通过 HGT 框架，利用异构图增强的大型语言模型来处理少样本的表格理解任务，并通过多任务预训练方案以及三个新颖多粒度自监督异构图预训练目标来处理复杂表格，实验证明了 HGT 的有效性，并在多个基准测试中胜过 SOTA。

    Mar, 2024

  • 使用基于图的方法解决大型语言模型系统的乘法问题

    我们提出了一种基于图形的乘法算法，通过引入一个 10k 运算符，模拟人类数学运算，有效地解决了 GPT 和其他大型语言模型在乘法方面的挑战。

    Oct, 2023

  • 使用文字属性的异构图预训练语言模型

    该研究提出了一种新的语言模型预训练框架，明确考虑了 Text-Attributed Heterogeneous Graph 中的拓扑和异构信息，通过优化语言模型和辅助异构图神经网络，定义了上下文图，并通过拓扑感知预训练任务来预测与上下文图有关的节点，同时采用文本增强策略来处理节点文本不平衡问题。在三个不同领域的数据集上进行了链接预测和节点分类任务，并实验结果证明了该方法的优越性和每个设计的合理性。

    Oct, 2023