Jan, 2022

PhysNLU：用于评估物理自然语言理解和解释连贯性的语言资源

PDF
TL;DR该研究旨在提高语言模型在物理研究中的应用，要求其可以编码数学和自然语言语境，以实现连贯的表述、正确的陈述顺序和相关性。研究团队提出了一组数据集，用于评估语言模型在此方面的性能，并评估公式和子学科在物理学话语中最常见的部分以及句子级频率。该研究表明，即使在接受数学自然语言任务的训练下，当涉及到连贯性相关的任务时，当代语言模型在物理学中仍然面临着挑战。
发现论文，激发创造
  • 语言模型中的连贯性是否令人惊讶？有针对性地评估连贯性预测

    本文通过设计一系列测试集来评估神经语言模型是否编码了逻辑关系、内在一致性和世界知识这些与上下文有关的复杂语言结构，研究发现通过这样的测试集，可以更好的评估语言模型的质量。

    May, 2021

  • 通过前提删除干预探索细粒度 LLM 物理推理的极限

    通过使用一个涵盖多种符号和物理子领域的精选数据集，本研究评估了语言模型在进行细粒度数学和物理推理方面的能力，发现模型的数学推理在物理语境中缺乏信息，更多地倾向于逆向工程解决方案。

    Apr, 2024

  • 短期内量子自然语言处理基础

    提供近期量子自然语言处理的基本概念和数学基础，在量子计算机科学家友好的术语下详细介绍了最新领域的理论发展，并引用了支持实证证据和数学广义性的参考文献，在量子模型中结合了语言意义和语法，利用 Noisy Intermediate-Scale Quantum 范例为编码语言结构提供了方便，最终在 Diagrammatic Reasoning 框架下，实现了语言与量子计算机之间的相互转换。

    Dec, 2020

  • 一种用于连贯性建模的多任务学习方法

    本研究提出一种层次神经网络模型，通过多任务学习，同时预测文档层次的信息连贯得分和词级别的语法角色，利用两个任务之间的归纳转移，提高模型泛化能力，并在不同任务中达到了新的最优表现。

    Jul, 2019

  • 使用多重量化语句进行自然语言推理神经模型的压力测试

    本文提出了一种生成数据集的方法，用于生成特定的自然语言推理例子，从而更精确地表征语义复杂性，并指出仅强制词汇对齐的模型可以避免关键信息的损失。

    Oct, 2018

  • 统一的神经连贯模型

    本文介绍了一种采用句子语法、句际连贯关系和全局连贯模式的统一一致性模型，该模型在局部和全局判别任务上表现良好，优于现有模型，并建立了新的最新技术成果。

    Sep, 2019

  • 低资源自然语言理解的有效迁移学习

    本论文旨在解决 NLU 模型在缺乏数据或知识资源时的挑战，提出了跨语言和跨域适应方法及面向低资源语言的关键词增强方法、序列颗粒化建模方法、多领域预训练方法和粗粒度到细粒度的表示学习框架。

    Aug, 2022

  • NEWTON：大型语言模型是否具备物理推理能力？

    通过评估物理推理技能的新基准数据集 NEWTON，以及针对对象与属性的推理任务，研究发现大型语言模型在场景任务中表现出强大的推理能力，但在对象 - 属性推理方面与人类相比存在欠缺（50％对比 84％），新基准数据集 NEWTON 展示了评估和提升语言模型的潜力，为将其整合到以物理为基础的环境中铺平了道路。

    Oct, 2023

  • 使用循环神经网络对句子顺序和连贯性建模

    通过端到端的无监督深度学习方法，可以有效地建立并评估理解连贯文本结构的模型，从而实现有用的文本表示方法，有利于句子语义相似性和重复检测等 NLP 任务的完成。

    Nov, 2016

  • 自然语言前提选择：寻找数学文本的支持陈述

    本文提出了自然前提选择 (Natural Premise Selection) 这一新型自然语言处理 (NLP) 任务，以便找到能为生成某个语句非正式数学证明提供支持定义和支持命题的前提；此外，我们还提供了一个数据集 NL-PS，用于评估不同方法在此任务上的表现，并使用不同的基线模型来展示了该任务所涉及的基本解释挑战。

    Apr, 2020