dynamic evaluation | BriefGPT

关键词dynamic evaluation

搜索结果 - 7

DARG: 大型语言模型的动态评估与自适应推理图
通过自适应推理图扩展动态评估大型语言模型（LLM）的现有基准来生成具有可控复杂性和多样性的评估数据，实证结果表明，大多数 LLMs 在复杂性增加时性能下降，某些 LLMs 的性能显著下降，通过 DARG 生成的数据对 LLMs 存在更多偏见
PDF11 days ago
动态评估的再审查：大型语言模型的在线调整
在线微调参数，动态评估，参数的临时变化状态，样本效率。
PDF4 months ago
DyVal：基于图信息的大型语言模型动态评估
本文介绍了 DyVal，一种新颖、通用、灵活的评估协议，用于动态评估大型语言模型，根据该框架，借助有向无环图的结构优势，动态生成具有可控复杂度的评估样本，并在数学、逻辑推理和算法问题等推理任务上生成挑战性的评估集，实验证明大型语言模型在 D
PDF9 months ago
EMNLP元学习快速权重语言模型
本研究提出了一种称为 Fast Weight Layers (FWLs) 的神经组件，通过将梯度更新表示为线性注意力，以更高效的方式提供动态评估的好处。FWLs 可以在训练时应用于模型，因此模型可以学习如何充分利用梯度更新。FWLs 可以轻
PDF2 years ago
EMNLP重新考虑过去：语言模型中隐藏状态的优化
本研究提出了基于梯度的隐藏状态优化（HSO）方法，提高了 transformer 语言模型在推断时的性能，尤其在评估模型训练分布之外的数据集时表现出色，且在 few-shot 评估方面也有改进。
PDF3 years ago
Transformer 语言模型的动态评估
这篇研究使用 Transformers 和动态评估两种方法来提高语言建模，在多个数据集上的实验表明，使用动态评估提高了模型预测准确率。
PDF5 years ago
神经序列模型的动态评估
通过梯度下降机制使神经序列模型适应最近的历史，从而提高模型的性能和有效性，在多个数据集上表现出了优于现有模型适应方法的结果。
PDF7 years ago