Mar, 2023

语言模型零样本函数组合性的探索

PDF
TL;DR本文探讨了预训练语言模型的功能组合性问题，并指出当前的 PLMs（例如 GPT-2 和 T5）还没有具有功能组合性，远未达到人类级别的泛化能力。同时，对于零样本功能组合的语言模型提出了研究方向。
pre-trained language modelsfunctional compositionalitycross-lingual summarizationgeneralizabilitynlp
发现论文，激发创造
  • 自然语言复合性之悖论：基于神经机器翻译的案例研究

    本文探讨了神经机器翻译在自然语言处理中的组合性能力测试及其对真实数据的影响，结果显示需要重新思考神经网络的组合性评估及开发相应基准测试。

    Aug, 2021

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 人类和机器的功能组合学习

    在研究中，我们通过探索人类和神经网络模型在学习和推理组合函数方面的能力，发现人类能够在不同的交互条件下对视觉函数组合进行零样本泛化，比较同一任务中的神经网络模型发现，通过元学习组合性（MLC）方法，标准序列到序列的转换器能够模仿人类在函数组合中的泛化模式。

    Mar, 2024

  • 探索大型语言模型在数学推理中的组合不足

    大型语言模型在数学推理方面研究了系统组合性，通过引入精心设计的逻辑漏洞陷阱构建了一个新的数据集 MathTrap，发现虽然大型语言模型具备所需知识的两个组成部分，但它们不会自发地组合起来处理这些新问题，通过自然语言提示、少示范演示和微调等多种方法可以减轻这种缺陷，但系统的组合性仍然是大型语言模型面临的一个未解决挑战。

    May, 2024

  • 组合性作为词汇对称性

    该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。

    Jan, 2022

  • 大型语言模型的组合语义解析

    通过逐步提示的基于句法分析的分解，本研究发现了更多语义分析任务中的挑战。这一最优方法使我们在 CFQ 上取得了最新的技术成果，同时只需要传统方法所需训练数据的 1％。由于我们方法的普适性，我们期望类似的方法将在知识密集型应用中取得新的成果。

    Sep, 2022

  • 大型语言模型中面向组合通用语义解析的研究综述

    本文对最近在分析、方法和评估方案上的进展进行了综述，为从业者和研究人员在这一领域提供了一个起点。

    Apr, 2024

  • 衡量和缩小语言模型中的组合性差距

    探究了语言模型在对复合性推理任务中的表现，提出了评估模型的整体解决方案的组成性差异比率，并发现随着模型大小的增加，其单次跳问题回答的性能比多次跳问题更快提高，而提供良好的渐进提示可以缩小这种差距，其中 self-ask 方法最近进一步提高了精度。

    Oct, 2022

  • 使用内在动机的组合新兴协议进行零样本泛化

    本研究旨在使用好奇心作为反馈机制，诱导一种系统性和明确的语言协议，展示如何利用组合性不仅能让人工智能代理与未见过的对象交互，而且能在零样本场景下从一项任务中转移技能到另一项任务中。

    May, 2021

  • 组合成分分解：神经网络如何泛化？

    本研究基于多种语言和哲学理论对构成性的不同解释，提出了五个理论有据的测试方法，用于评估神经语言模型的构成性能力，结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。

    Aug, 2019