Mar, 2024

用大型语言模型的组合分数测量人脑中的含义组合

PDF
TL;DR通过大量的神经语言学研究，我们引入了一个新的基于模型的度量标准，即组合度分数，用于量化句子理解过程中的意义组合程度。实验结果表明，这个度量标准与与词频、结构处理和对词语的一般敏感性相关联，提示了人类句子理解过程中意义组合的多方面性。
发现论文，激发创造
  • 计算句级度量预测人类句子理解

    创新的方法使用多语言大型语言模型计算句子级别的度量标准，预测并阐明读者在理解句子时遇到的处理困难，提供了实质性的可解释性和高准确性，为将大型语言模型和认知科学整合的未来研究提供了有希望的途径。

    Mar, 2024

  • 神经网络求解数学问题中出现了组合处理

    本文探讨了人类学习机制中的组合性问题，并扩展了先前针对自然语言的神经网络研究到数学推理领域。研究发现，神经网络不仅能够学习到训练数据中的结构关系，而且能够将这些知识用于指导复合意义的组合。

    May, 2021

  • 关于大型语言模型（LLM）的脑科学评分形状研究

    利用大型语言模型（LLMs）和人脑 / 神经系统之间的功能相似性评估指标 “Brainscore”，通过构建人类 fMRI 数据和多个 LLMs 及其未训练对象的拓扑特征，进行了线性回归模型训练和统计分析，揭示了在多个感兴趣脑区和半球中解释现有 brainscores 的独特特征组合，对推进可解释的机器学习（iML）研究具有重要意义。这项研究是首次尝试在这个跨学科领域理解这一创新指标 brainscore 的努力。

    May, 2024

  • 评估句向量表示中的组成

    文章介绍了一种可以精确和控制地针对句向量中的组合含义信息的方法，利用一个专门的句子生成系统，创建遵循特定句法、语义和词汇约束条件的带注释的大型句子集。实验表明，这种方法能够从多种现有的句子表示模型中提取有用的信息，有助于理解这些系统对句子信息的捕获能力。

    Sep, 2018

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 视觉语境下的语义组合模型

    本文探讨了视觉图像和语言语义的组合结构问题，并提出了一些方法，如 WinogroundVQA, Syntactic Neural Module Distillation, Causal Tracing for Image Captioning Models,Syntactic MeanPool 和 Cross-modal Attention Congruence Regularization，以提高这种组合结构的能力。

    May, 2023

  • 自然语言复合性之悖论：基于神经机器翻译的案例研究

    本文探讨了神经机器翻译在自然语言处理中的组合性能力测试及其对真实数据的影响，结果显示需要重新思考神经网络的组合性评估及开发相应基准测试。

    Aug, 2021

  • 评估表示学习中的组合性

    描述了一种评估向量空间和离散码等机器学习输入表示中组成结构程度的程序，并使用这种程序探索了这种组成结构与学习动态、人类判断、表示相似性和泛化之间的关系。

    Feb, 2019

  • 从基础开始建立表示？语言模型中局部组合的实证研究

    本文探讨了现代语言模型是否能够学会表示复合短语中的复合性和非复合性，通过预测长语的内部表示来证明了现代语言模型可以预测一个父短语的表示。同时，通过多种分析，揭示了不同类型的语言模型何时产生了复合表示，并探讨了未来建模工作的可能性。

    Oct, 2022

  • 复述辅助的组合性模型

    本文提出了用自动提取的近义例子替代手工注释进行组合模型训练的方法，同时开发了一种上下文感知的短语组成能力评分模型，实验结果表明这些方法可以用于提高机器翻译系统的翻译质量。

    Jan, 2018