May, 2024

朝着一个路径依赖的类别流利性账户

PDF
TL;DR类别流畅性是一种广泛研究的认知现象，然而关于底层检索机制却存在两种相互冲突的解释 —— 一种是有意识地通过记忆进行优化的觅食过程，另一种是从语义网络中进行随机游走采样。通过对现有模型的假设进行剥离，我们发现类别转换概率可以直接建模，并依赖于大规模语言模型进行预测；进一步，我们通过将模型重新构建为序列生成器来解决有关觅食的分歧。通过将生成的类别流畅性序列与人类编写的序列进行比较，我们提出了基于 n-gram 重叠的度量标准，并发现类别转换预测器不一定能产生类似人类的序列，事实上，Hills 等人 (2012) 模型使用的附加偏差是提高生成质量所必需的，这些偏差在我们的类别修改后得到了改进。即使仅使用 LLM 进行生成，也需要额外的全局提示来触发产生过程中的区块切换行为。对语义网络上的搜索过程进行进一步测试，突显了确定性搜索对于复制人类行为的重要性。
发现论文，激发创造
  • 使用 Transformer 模型进行语义流畅性的认知建模

    使用前沿的深度语言模型进行超参数猜测，探讨这些模型设计的局限性，以追求认知行为的个性化描述符；在预测语义流畅性任务表现时，我们使用了几种方法来预测下一个发言，表明 TLM 可以更好地计算个体差异和人类记忆提取策略，为知识表示的认知建模提供新思路。

    Aug, 2022

  • 语言类别的文化生成途径

    通过模拟一群玩基础语言游戏的个体，本文研究了类别的本质讨论，发现它们由两个层次构成：一个基础层负责环境的细致辨别，另一个语言层将感知编组在一起，以保证交际的成功。值得注意的是，语言类别的数量是有限的、很小，与自然语言中的情况相似。

    Mar, 2007

  • 基于语用的语法类别学习

    通过一系列代理实验证明，基于习惯和互动的选取和对齐方式，能够推动语言交互更自然的语法范畴与语法模式的形成。

    Apr, 2022

  • 通过示例进行抽象化？BERT 中词汇类别推理的表征案例研究

    我们通过分析 BERT 在语言学敏感任务中的表征行为，发现它在使用新词汇时能够向已知词汇的类别示例区域推广，这表明学习者的示例编码能够产生类似于抽象的行为。

    Nov, 2023

  • 自由类别的概率生成模型

    本文利用类别和语言之间的类比，定义了一个概率生成模型，用于特定领域生成对象和态射，证明了无环有向连通图可以模拟态射的规范，并使用后验变分推断实现了参数学习和隐变量推理。通过实验表明，自由范畴先验在 Omniglot 数据集上实现了有竞争力的重建性能。

    May, 2022

  • 用 Flip-Flop 语言建模揭示注意力漏洞

    本文研究了语言模型存在的错误和推理失误现象，特别是对于长链推理问题的脆弱性，提出了认知故障这一现象，并通过引入翻转语言建模进行了分析，讨论了自注意力机制失效的原因和解决方法。

    Jun, 2023

  • 神经模型中的句法惊讶预测语法歧义对人类处理难度的影响，但低估了它

    研究人类阅读园路效应时，提出的 surprisal 理论假设阅读者的速度减慢是由于句子中每个单词的不可预测性。但最近的研究表明，该假设低估了句法预测的影响。作者提出了计算句法预测能力的方法，并发现将其与词汇预测能力区分开来可以更准确地估计园路效应的影响。然而，即使这样，surprisal 仍然远远低估了人类阅读园路效应的影响。

    Oct, 2022

  • 算法分类器的分类表征学习和 RG 流算符

    本文讨论了一种名为 RG-flow categorifier 的新型算法自然语言处理体系结构，该算法可用于数据分类和生成，特别应用于生物医学数据集，用于序列到功能的映射，并针对流感病毒基因组序列的隐含对称性和显性特征进行分类和预测。

    Mar, 2022

  • 描述奥凯特：生成基于感知的类别描述

    本文探究了计算模型学习和运用类别表征的能力，使用零样本分类推断来度量交际成功和类别概念基础，并通过两种不同的神经表征（基于原型和范例）研究了类别描述的植入性。结果发现属性重复度高的描述更容易达到交际成功，而这也暴露了类别描述生成模型中存在的性能问题。

    Mar, 2023

  • 自然语言文本中细粒度类别发现的通用方法

    使用粗粒度监督进行细粒度类别发现是一项经济高效但具有挑战性的任务，本文提出一种使用语义相似性引导样本分布并形成表示细粒度类别的独特聚类的方法，并进行了理论和实证上的验证，结果在准确度、调整兰德指数和标准化互信息等方面超越了现有的最先进方法。

    Jun, 2024