AAAIJan, 2023

通过对比预训练实现对数学问题的全面理解

PDF
TL;DR本研究提出了一种新的数学问题对比预训练方法 QuesCo，该方法利用知识层次结构感知的排名策略来更好地表示数学问题，并进行了广泛的实验以证明其有效性。
mathematical questionspre-training modelsquescoknowledge hierarchy-aware rankcontrastive learning
发现论文，激发创造
  • QuesNet: 异构测试题统一表示

    提出了一种面向教育领域的预训练方法 QuesNet，利用统一的框架整合含有异构输入的问题信息并设计了两种级别的预训练算法来学习基础语言特征、领域逻辑和知识，证明了其在问题理解和应用方面的有效性和优越性。

    May, 2019

  • TQ-Net：混合对比表示学习用于异质性测试问题

    该论文提出了 TQ-Net，一种基于两阶段无监督对比学习的方法，用于融合文本和图片以改善考试问题的表现，并在实际应用中展现出高准确性。

    Mar, 2023

  • 文本增强对比学习在解决数学题中的应用

    本研究提出了一种名为 “Textual Enhanced Contrastive Learning” 的方法，采用自监督学习策略，丰富了数学问题的文本变异性，并从方程和文本角度检索最难区分的样本以指导模型进行学习，最终达到了在英文和中文基准数据集以及设计挑战数据集上均表现最佳的效果。

    Nov, 2022

  • 提高预训练语言模型的数值推理能力

    提出了一种新的推理感知预训练方法，使用对比学习将另一种数字表示形式纳入预训练模型，通过基于推理的数字预测任务训练来提高其数值推理能力，实验结果表明该方法在需要数值推理的任务上能够提高准确性，并且人类评估显示该方法能够提高数据集上的事实正确性。

    May, 2022

  • 寻求模式，而非单纯记忆过程：对比学习解决数学问题

    本文提出一种对数学文字问题解决方案的改进方法，通过对原型方程进行比对学习，训练神经网络识别相似原型的问题，并在中英文数据集上取得了大幅提升的表现。

    Oct, 2021

  • 多视角推理：一种用于数学题的一致性对比学习

    提出了一种多视角一致性对比学习方法，用于数学语义到方程的映射，在多粒度上对两种推理视角进行兼容，提高全局生成和精确推理。

    Oct, 2022

  • 知识图谱对话问答中的对比表示学习

    通过对话历史和领域信息进行对比表示学习，本文提出了一种基于对比表示学习的方法，用于无需黄金注释的弱监督下进行知识图谱路径排名。 实验结果表明，该方法在所有领域和整体上显着优于现有基线，排名指标相对于现有技术表现提高了 10 到 18 个百分点。

    Oct, 2022

  • 一个以问题为中心的多专家对比学习框架，用于提高深度序贯知识追踪模型的准确性和可解释性

    我们提出了一个名为 Q-MCKT 的基于问题中心的多专家对比学习框架，用于知识追踪，以解决应用深度学习技术建模知识追踪过程时面临的挑战。

    Mar, 2024

  • Socratic Pretraining: 基于问题的预训练方法用于可控摘要

    本文介绍了一种基于问题驱动的无监督预训练目标 ——Socratic 预训练，该方法使得预训练模型更加高效地遵循用户提供的查询，并识别相关内容进行长文本可控摘要。作者的实验结果表明，Socratic 预训练方法不仅具有较高的性能，而且将特定任务的标记数据需求减少了一半。

    Dec, 2022

  • 动量对比预训练用于问答

    本研究提出了一种用于提取式问答系统的动量对比预训练方法（MCROSS），以解决现有预训练方法中存在的由于关键词匹配而导致过度拟合问题，该方法采用动量对比学习框架来对齐填空式和自然问题 - 文章样本对之间的答案概率，从而使预训练模型能够更好地将填空式中学到的知识应用于回答自然问题。实验结果表明，与所有基线模型相比，我们的方法在有监督和零 - shot 情况下均取得了显着的改进。

    Dec, 2022