intrinsic evaluation | BriefGPT

关键词intrinsic evaluation

搜索结果 - 10

贪婪是所需之物：Tokenizer 推理方法的评估
通过对七种解码方法在四种不同算法和三个词汇量上的实验进行受控分析，我们提供了一个用于英语的新型内在评估套件，结合了与形态、认知和信息论相关的度量标准，结果显示在常用的分词器中，贪婪解码方法表现出乎意料的好，最近推出的上下文感知分词器 SaG
PDF4 months ago
ACL词切分对上下文化词表示的语义内容的影响
从语言模型中获取上下文化的单词表示时，需要决定如何获得那些被分割成子单词的未登录词（OOV）的表示。本文通过在涉及 OOV 词的语义相似性任务中对不同模型的嵌入进行内部评估，揭示了包括有趣发现在内的结论，即被分割的词的表示质量通常较差，但并
PDF4 months ago
COLING除偏不足！—— 浅谈消除 MLM 和社会偏见在下游任务中的有效性
本研究探讨了遮盖语言模型的任务非特定内在社会偏见和任务特定外在社会偏见评估指标之间的关系，并发现两种评估指标之间存在着很弱的相关性。此外，我们发现使用不同方法去除偏见的 MLM 在下游任务的精调期间仍会重新学习社会偏见。我们发现训练实例
PDF2 years ago
ACL以词和句相似性重新思考评估
本文提出了 EvalRank 作为一种新的内部评估方法，它在 60 多个模型和流行数据集上进行了深入的实验，并释放了实用的评估工具包用于未来的基准测试。
PDF2 years ago
EMNLP有些词比其他词更有价值吗？
该研究提出了两种新的内部评估方法，旨在全面评估语言模型的性能。他们发现，传统的评价方法偏向于高频词汇，而不能全面地评价模型的性能。
PDF4 years ago
揭示词嵌入中的差异性语言信息及其对内在和外在评估的意义
本文研究词嵌入技术中的理想表示问题，发现各种模型包含的信息互相矛盾，通过线性变换来调整相似度排序以提高其结果，同时探讨了内在和外在评估之间的关系。
PDF6 years ago
神经跨语言共指消解及其在实体链接中的应用
本文提出了一种基于实体为中心的跨语言指代消解模型，利用多语言嵌入和语言无关特征进行构建，并进行了内在和外在评估。结果表明，本模型在英语训练，中文和西班牙语测试上的性能表现优异，能够在不利用任何中文或西班牙语标注数据的情况下，实现优越的实体链
PDF6 years ago
ACL词嵌入表示的内在子空间评估
本文介绍了一种新的内在评价词汇表示的方法。我们提出了四个基本标准来检测这种方法是否能够满足自然语言的一些难点，我们提出了一些测试来直接展示这些标准是否得到满足。在此基础上，我们将这种方法应用于计数向量模型和神经网络模型等多种模型的比较，并证
PDF8 years ago
基于相关性的词向量表示内在评估
提出了一种基于 linguistic resources 的 word vector 表征的内在评估指标 QVEC-CCA，并展示了该评估的高效性和优越性。
PDF8 years ago
ACLdeltaBLEU: 一种针对本质多样化目标的生成任务的鉴别指标
我们引入了判别式 BLEU (deltaBLEU)，这是一种新的度量生成文本内在质量的度量方法；它能够在多样化的输出任务中为多参考文本 BLEU 加权，对于生成对话回复的任务，该度量方法与人类判断有较高相关性且在 Spearman's rh
PDF9 years ago