unsupervised metrics | BriefGPT

关键词unsupervised metrics

搜索结果 - 6

用于幻觉检测的度量集合
基于大型语言模型的文本生成具有吸引力，但生成的抽象摘要可能存在解释错误的 “幻觉”。本研究使用一套无监督指标来评估摘要的一致性，并与人工评估得分进行相关性分析。研究发现，基于大型语言模型的方法在幻觉检测方面优于其他无监督指标，而集合方法可以
PDF9 months ago
领域内外样本间语义相似度估计
提出了多种关于 OOD 定义的系统分析，通过在 12 个不同任务的数据集上进行广泛的评估，发现无监督度量有着可靠地识别 OOD/OODist 样本的潜力。
PDFa year ago
EMNLP不是所有的错误都是相等的：使用分层错误合成学习文本生成度量
本文提出利用迭代的错误合成与强度评分的新颖流程构建高度相关于人类判断的基于模型的指标 SESCORE，该指标无需人工注释，在多个不同的自然语言生成任务中优于所有现有的无监督指标，并且即使没有获得任何人工标注训练数据，SESCORE 也实现了
PDF2 years ago
ICLR无监督模型选择用于时间序列异常检测
本文针对无标签数据集的异常检测问题，提供了一种基于三类代理度量（prediction error，model centrality 和 performance on injected synthetic anomalies）的度量组合方法，
PDF2 years ago
ACLCTRLEval：用于评估受控文本生成的无监督无参考度量
本文提出了一种称为 CTRLEval 的无监督无参考文本生成度量方法，通过将每个方面制定为多个文本填充任务，从不同角度评估受控制的文本生成。此度量方法无需进行任何模型训练，只需从预训练的语言模型中收集生成概率。实验结果表明，相比其他基线，该
PDF2 years ago
神经对话模型的实例加权：不是所有对话都是平等的
本文研究了利用加权模型解决神经会话模型训练过程中困难的问题，并在电影和电视字幕训练数据上证明该方法能提高模型性能。
PDF7 years ago