EMNLPSep, 2016

数据规模和频率范围对分布语义模型的影响

PDF
TL;DR本研究旨在探究数据规模和频率范围对分布语义模型的影响。比较了几种代表性模型在不同规模的数据和各种不同频率的测试项下的性能表现。结果表明，当数据规模较小时，基于神经网络的模型表现不佳，而在各种规模和频率范围的数据下，可靠性最高的模型是倒置分解模型。
distributional semantic modelsneural networksdata sizefrequency rangeinverted factorized model
发现论文，激发创造
  • 三代分布语义模型的比较评估与分析

    本研究旨在对传统计数模型、预测模型与现代上下文向量模型（由 Transformer 神经语言模型生成）进行遵循语境学习的分布式语义模型（DSM）评估，结果显示在大多数上下文之外的语义任务和数据集中，静态 DSM 优于上下文化代表性，并揭示了 DSM 之间的不同之处，这些不同涉及词汇项的频率和词性，为调查分布式模型生成的语义空间提供了方法。

    May, 2021

  • 频率解释了大型语言模型的大小、训练数据量和意外性与阅读时间的逆相关关系

    大型、数据庞大的基于 Transformer 的语言模型对于罕见单词的预测更加准确，从而导致它们的意外度估计与人类的阅读时间相关性降低。

    Feb, 2024

  • 低频项对神经信息检索模型的影响

    本研究分析了低频词对神经信息检索模型的性能和稳健性的影响，通过对三个不同的最近神经信息检索模型进行控制实验，发现采用 FastText 对于低频词查询可以带来明显的性能提升。

    Apr, 2019

  • 探究微调模型时数据大小的重要性

    研究表明优化 Fine-tuning 效果的原因是 Fine-tuning 的数据集大小，同时数据集大小会影响编码的语言知识程度，而且数据集大小主要影响神经网络的高层，且这种影响程度跟 Fine-tuning 迭代次数有关。

    Mar, 2022

  • 词嵌入相似度计算方式的频率依赖性

    本文系统研究了几种静态词向量嵌入中单词频率与语义相似性之间的关联，并发现高频单词之间的相似性更高。同时，本文还探究了单词频率对基于嵌入的性别偏见测量的影响，并证明通过操纵单词频率可使偏见发生倒转。

    Nov, 2022

  • 基于频率双哈希的推荐系统模型大小缩减

    本论文提出了一种混合哈希方法，将频率哈希和双哈希技术相结合用于模型大小降低，在两个产品表面上的实验结果表明，我们可以将模型大小降低约 90％，同时保持基线模型的性能。

    Jul, 2020

  • 数据集对自动语音识别声学模型的影响

    本文研究了不同数据集大小对各种 GMM-HMM 声学模型性能及其计算成本的影响。

    Mar, 2022

  • 深入探究语义规模不平衡

    本研究旨在定义和量化类别的语义规模，以测量各个类别的特征多样性，并提出了一种量化语义规模不平衡的方法，设计并实现了基于语义规模平衡的学习方法，在多个数据集上得到了优于传统方法的性能表现。

    Dec, 2022

  • 神经语言模型中的语法推广的系统评估

    我们对神经语言模型的句法知识进行了系统评估，发现模型架构的不同对句法泛化性能产生了显著影响，而不同数据集大小的影响相对较低。

    May, 2020

  • 了解模型大小如何影响少样本指示提示

    研究了大型语言模型的记忆与遗忘现象及其与模型大小的关系，通过引入 DeltaWords 数据集证明在少量给定指令的情况下，随着模型大小的增加，任务准确率呈反比例降低趋势，但增加示例数量则更有利于大型模型。

    Dec, 2022