automatic metric | BriefGPT

关键词automatic metric

搜索结果 - 8

Instruct-SCTG：通过指导实现序列控制文本生成
本文介绍了 Instruct-SCTG 框架，利用调谐指令的语言模型在精细调整和零 - shot 设置中生成结构连贯的文章，通过自然语言指令对生成的文本进行段落层次的控制，并引入了一种模糊度量衡来衡量篇章发散程度。实验结果验证了该框架在新闻
PDF6 months ago
CEScore：用于评估分割和改写的简单高效置信度估计模型
自动评估长句分割和重述任务的 CEScore 模型提供了用于评估简单性、语法性、意义保持性和整体质量的四个指标（Sscore、Gscore、Mscore 和 CEscore）并与人类评估强相关，表明 CEScore 作为评估 SR 模型整体
PDF7 months ago
ImageReward: 学习和评估人类对文本到图像生成的偏好
本文介绍了 ImageReward，第一个通用的文本到图像人类偏好奖励模型，通过系统注释流程，其训练基于涵盖评级和排名组件的数据集，包括 137k 个专家比较。在人类评估中，ImageReward 超越了现有的评分方法（例如 CLIP），成
PDFa year ago
提升变分个性化和移情对话代理的上下文连贯性
通过引入 Uncertainty Aware CVAE 框架来近似和整合响应生成过程中的 aleatoric 不确定性，改善个性化和移情式对话生成中生成响应的上下文连贯性。同时，研究者们提出了一种新的自动度量方法来衡量生成响应的上下文连贯性
PDF2 years ago
评估语音翻译的评估指标
本文评估了目前针对语音翻译的指标，并评估了不同评估方法在方言变体翻译上的影响。同时表明先前使用的自动度量标准最适合于标准化高资源语言。
PDF3 years ago
ACL从语义解析到逻辑一致的文本生成
本文提出了一种名为 SNOWBALL 的框架，通过递归地增加数据集来进行质量控制，从而解决了从语义解析中生成文本描述的两个挑战：(1) 复杂而密集的内部逻辑及数据稀缺的限制，(2) 缺乏用于逻辑一致性评估的自动度量标准，同时还提出了一种用于
PDF3 years ago
SIGIRBackretrieval: 一种基于图像的跨语言文本表示的评估度量方法，不需要平行语料库
本文提出了一种使用图像作为代理的自动度量标准，评估跨语言文本表示的质量，实验表明，Backretrieval 能够高度相关地与标注数据的正确度量相关，是评估跨语言文本表示质量的一种有效方式。
PDF3 years ago
隐喻性解释生成
本文描述了隐喻释义生成的任务，并提出了两种不同的模型：词汇替换基线和一种新的序列 - 序列模型 “隐喻屏蔽”，它可以生成自由的隐喻释义。我们使用众包来评估我们的结果，并开发了自动度量衡来评估隐喻释义。我们发现，虽然词汇替换基线能够产生准确的
PDF4 years ago