Nov, 2015

金发姑娘原理：使用明确内存表述阅读儿童图书

PDF
TL;DR介绍了一种新的测试语言模型在儿童书籍中捕捉意义的方法，通过与一系列现有的模型进行比较，发现长期语境的显式表示可以比神经语言模型更好地预测语义内容的单词，并且单一记忆表示中编码的文本数量非常有利于性能，同时还可通过自我监督有效地训练对其进行注意。同时，将这一原则应用于 CNN QA 基准测试中时，也取得了最好的结果。
发现论文，激发创造
  • 语言模型比经验可预测性更好地解释单词阅读时间

    本文研究了语言模型在理解阅读中的应用，发现概率语言模型在得知前文后更有深入的语法和语义解释，从多个层面上与阅读时间都有非常明显的关联。

    Feb, 2022

  • 神经语言模型中近似短期记忆的特征化

    该研究考察了语言模型在处理文本时是否能够检索先前出现的确切单词，并发现 transformers 模型可以从第一次出现的名词清单中提取词语的身份和排序，而 LSTM 模型则更加侧重于先前单词的语义要点，以及其与列表中其他单词的关系。

    Oct, 2022

  • 以事实为专家：基于符号知识的可适应和可解释神经记忆

    该论文提出了一种神经语言模型，该模型在符号可解释事实信息和亚符号神经知识之间包括显式接口，可以通过操作其符号表示更新并覆盖已有的知识，进而显著提升知识密集型问题的问答性能。

    Jul, 2020

  • 叙述 XL: 用于长期记忆模型的大规模数据集

    提出了一种通过 GPT 3.5 从 Project Gutenberg 中的书籍总结场景并创建阅读理解问题的方法，用于创建可以训练和评估长期记忆语言模型的数据集，并经过人工和模型的实验验证，证明该数据集可以诊断模型的记忆容量，并且不是现代语言模型的简单问题。

    May, 2023

  • 利用大型语言模型研究人类对有意义叙述的记忆

    语言模型作为一种科学工具，我们展示了它在研究人类对有意义材料的记忆上的应用，通过在线大规模记忆实验和结果分析，发现记忆和认知表现与叙述长度成线性关系，并且研究叙述理解在记忆中的作用。

    Nov, 2023

  • 基于记忆嵌入的学习

    本文研究嵌入学习，将其扩展到时间、空间和符号的各种认知内存功能，并利用该数学模型推导出许多有关人类记忆的假设。

    Nov, 2015

  • 用记忆和知识增强的语言模型推断长篇故事的关键性

    本研究利用 Barthes Cardinal Functions 和 surprise 和理论为基础的无监督方法，将其应用于长篇叙事形式中，改进了标准 transformer 语言模型，通过引入 Retrieval Augmented Generation 的外部知识库和添加记忆机制来提高该语言模型在长篇作品中的性能，使用来自 Shmoop 语料库的章节摘要来推导显著性标注的新方法，针对这些数据进行的评估证明，与非知识库和记忆增强语言模型相比，我们的显著性检测模型提高了性能，这两者对于此改善至关重要。

    Sep, 2021

  • 阅读理解的上下文化词表示

    论文研究了使用神经网络和预训练语言模型来提取文件中问题的答案，通过提供丰富的上下文表示并允许模型在上下文相关和上下文无关的单词表示之间进行选择，可以获得比现有技术更好的性能。

    Dec, 2017

  • 神经语言模型对人类实时理解行为的预测能力

    通过对二十多种不同的计算模型测试发现，尽管这些模型可能包含不同的结构、方法和数据集，但其前向单词期望和人类阅读行为之间的关系是很直接的，其中深度 Transformer 模型和 n-gram 模型在眼动数据方面表现优异，而在句法知识和预测能力之间不存在重大关系。

    Jun, 2020

  • 人类记忆与深度语言模型：模型增强相关假设的联系

    该论文主要探讨利用人类记忆系统中的交叉连接假设来增强记忆增强型 Transformers 模型，并以惊奇度作为交叉连接假设模型进行实证研究，并识别该方法的局限性以指导未来的研究。

    Oct, 2022