Oct, 2023

NLP 模型对追踪思路的表现：叙事理解概述

PDF
TL;DR本文对叙事理解任务进行了综合调查，详细研究了其关键特征、定义、分类、相关数据集、训练目标、评估指标和局限性。此外，我们探讨了将模块化大型语言模型的能力扩展到新的叙事理解任务的潜力，并通过将叙事理解视为提取作者想象线索的方式，引入了增强叙事理解的新方法。
narrative understandinglarge language modelscomprehensive surveymodularized llmsnarrative comprehension
发现论文，激发创造
  • 训练语言模型概括叙述能够提高大脑对齐

    训练自然语言处理系统以深入理解语言是该领域的中心目标之一。本文从人类大脑理解自然语言的角度出发，研究了使用叙述数据集进行深层次叙事理解训练的语言模型是否真正学习了更深层次的文本理解，并表明了这种训练可以带来更好的大脑 - 自然语言处理对齐性、可以使语言模型在长距离文本理解方面取得改进。

    Dec, 2022

  • 确立可信度：重新思考任务和模型评估

    语言理解是一个多方面的认知能力，自然语言处理（NLP）领域几十年来一直致力于计算化建模。最近大型语言模型（LLMs）的出现，使得以生成模型为动力的通用性、任务无关的方法成为主流，这导致了语言任务传统上的划分不再适用，带来了对评估和分析的挑战，同时也加大了对可靠系统的需求。因此，我们主张重新思考 NLP 中任务和模型评估的涵义，并追求对语言的更全面视角，将可靠性放在核心地位。为了实现这一目标，我们回顾了现有的划分式方法，以了解模型功能能力的起源，并提出了多方面评估协议的建议。

    Oct, 2023

  • 不能说故事的语言模型何处出了问题？

    本文论述叙事理解与生成有趣的文本是现代自然语言处理的核心难点之一，同时也是整个人工智能领域的难点，由于缺乏合适的数据集、评估方法和操作概念，使得研究者们难以着手进行叙事处理的工作。

    Nov, 2022

  • 利用大型语言模型研究人类对有意义叙述的记忆

    语言模型作为一种科学工具，我们展示了它在研究人类对有意义材料的记忆上的应用，通过在线大规模记忆实验和结果分析，发现记忆和认知表现与叙述长度成线性关系，并且研究叙述理解在记忆中的作用。

    Nov, 2023

  • 探寻咨询对话：领域知识与大型语言模型

    提出了一个系统的方法，用于检验领域知识和大型语言模型在代表危机辅导员与求助者之间的对话时的表现，结果表明领域知识和语言模型生成的特征能够更好地描述咨询对话。

    Feb, 2024

  • 学习快速捷径：关于语言模型中自然语言理解的误导承诺

    大型语言模型在自然语言处理领域取得了重要的性能提升，然而近期的研究发现，这些模型在执行任务时往往使用了捷径，导致性能看起来得到了提升，却缺乏泛化能力。这一现象给大型语言模型的自然语言理解评估带来了挑战。本文对该领域的相关研究进行了简明调查，并提出了对于捷径学习在语言模型评估中的影响的观点，特别是对于 NLU 任务。本文呼吁加大对捷径学习的研究力度，促进更加强大的语言模型的开发，并提高在实际场景中的 NLU 评估标准。

    Jan, 2024

  • M-SENSE：利用主角心理再现建模短篇个人叙述中的叙事结构

    本文提出了一种计算模型，通过分析角色猜测的心理状态和句法和语义层面的语言信息，自动检测叙述结构的主要元素。通过使用预先训练的社交常识知识模型获取主角的心理状态信息，并使用多功能融合方法将其与语境语义嵌入相结合，我们建立了一个包含手动注释的 STORIES 数据集的计算模型来实现这一任务，并在评估中发现我们的模型能够实现极显著的改进来识别高潮和结局。

    Feb, 2023

  • 利用语言模型作为认知代理的知识来源

    利用大型语言模型作为认知系统的任务知识、认知代理和知识提取，以及通过整合提取与认知架构能力来提高知识提取效果的挑战和机会。

    Sep, 2023

  • 通过虚构作品进行人物建模评估大型语言模型的人物理解能力

    我们提出使用角色概况任务来评估大型语言模型（LLMs）的角色理解能力，通过从对应的材料中总结角色概况，构建 CroSS 数据集并比较与下游任务的适用性，我们的实验结果强有力地验证了 LLMs 的角色理解能力，并且我们相信我们构建的资源将促进该领域的进一步研究。

    Apr, 2024

  • 阅读深层意义：利用作者进行短篇小说梗概评估大型语言模型

    最近的大型语言模型在总结短篇小说这一具有挑战性的任务上进行评估，结果显示这些模型在超过 50% 的总结中存在不忠实的错误，并且对于难以解释的含义也有困难，然而在最好的情况下，这些模型可以提供有思考深度的故事主题分析，并且我们还证明了语言模型对总结质量的评判与作者的反馈不一致。

    Mar, 2024