Dec, 2022

很少 ' 成问题吗？自然语言模型在预测上表现出与 ' 少量 ' 类量词相反的缩放

PDF
TL;DR语言模型在量化任务中表现较差，特别是在 Few-type 的量化词上，而且模型越大，表现越差。这暗示着越大的模型越倾向于反映在线而非离线的人类语言处理，并且这种表现下降可能挑战语言模型作为自然语言系统基础的应用。
发现论文，激发创造
  • 大型语言模型中的量词理解探究

    本文探讨了大型语言模型在量词理解方面的能力，发现传统的测试方法导致了对 LLM 在 few-type quantifiers 上理解能力逆反缩放的错误认知。研究者提出了替代方法，发现随着模型规模的增加，LLM 在量词理解方面的表现与之前的研究不同，并揭示了 most-type quantifiers 存在逆反缩放的特性，这与人类语言认知实验和以前的研究相反。

    Jun, 2023

  • 探索语言上下文对量词预测的影响

    研究语言环境对于预测量词 (`few',`all') 的作用。从人类参与者中收集众包数据，在单句和多句的情况下测试不同模型，发现模型在前者方面的表现显著优于人类，而在后者方面则仅略胜一筹。模型非常有效地利用了词汇和形态句法模式，而人类则更擅长真正理解（全局）语境的含义。

    Jun, 2018

  • 广义量词作为多语言 NLU 基准测试中的误差来源

    本文探讨自然语言理解模型处理量词单词的困难性，并基于广义量化器理论提出了一种语言无关的表示方法来解决这一问题。研究发现，与性能降低相关的频繁发生在自然语言理解基准测试中。同时，这篇文章还提出了对抗广义量化器的 NLI 任务（GQNLI），并发现预训练的语言模型对广义量化器推理缺乏鲁棒性。

    Apr, 2022

  • 人类和 LLMs 中的视觉对象命名、描述和量化

    当前的视觉与语言大型语言模型（VLLMs）在捕捉人类命名偏好方面的能力存在问 题，尤其在需要高级推理能力的任务中，例如指定量词。

    Mar, 2024

  • 语言模型是少样本学习器

    在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

    May, 2020

  • 大规模语言模型词表筛选在低频词语音识别中的应用

    通过降采样、明确筛选稀有词以及使用基于困惑度的对比筛选等简单的策略，结合生产语音引擎，利用语言模型融合技术，相对于使用原始语料训练出的语言模型，使智能语音助手能够更好地辨别听众说出的稀有词而不影响总体识别准确率，并在实时语音搜索流量中得到了有利的侧面对比评估结果。

    Mar, 2022

  • 神经语言模型中，数量不代表语法质量

    本论文研究了增加神经网络大小和训练语料对于缓解基于循环神经网络的语言模型中存在的语法复杂性问题的作用。研究发现，增加网络大小和扩展语料对于缓解该问题的效果都有限，而与基于 Transformer 的模型 GPT 和 BERT 相比，LSTM 模型在某些结构下表现更好。因此，本研究倡导更为数据高效的神经网络结构。

    Aug, 2019

  • 受限语言模型实现少样本语义分析器

    利用大型预处理语言模型作为少型语义解析器，将输入 paraphrase 成类似英语的控制子语言，通过很少的数据和代码快速批量生成语义解析器，表现出令人惊讶的有效性，远超过基线方法。

    Apr, 2021

  • 语言模型实现真正的小样本学习

    评估少量样本学习模型在没有未使用样本的情况下的表现，发现先前的工作对于 LM prompt 和超参数的选择方式大大低估了预训练语言模型在小样本学习方面的能力。

    May, 2021

  • 不止尺寸重要：小型语言模型也是少样本学习者

    该研究通过将文本输入转换为包含任务描述的填空问题，并结合梯度优化和利用未标记数据，成功地创造了小型语言模型，达到了与 GPT-3 相似的性能，为小型语言模型的成功应用提供了关键因素。

    Sep, 2020