多维服务质量评分系统
该论文详细介绍了最新的 MQM 发展,并提出了一种适用于三种样本大小范围的通用翻译质量测量方法,还介绍了为非常小的样本大小采用统计质量控制的原因,起点为单个句子。
May, 2024
通过提供一个英韩语言对的 1200 句 MQM 评估基准,将机器翻译评估重新定义为使用 SOTA 语言模型同时预测多个 MQM 分数的多任务问题,在参考 MT 评估和无参考质量估计(QE)设置中,我们发现无参考设置在风格维度上优于参考设置,而参考模型在准确性方面保持优势,总体上,RemBERT 是最有希望的模型。通过我们的评估,以一种更精细化、可解释的方式提供了关于翻译质量的见解。
Mar, 2024
该研究介绍了一种新的数据驱动的、非参数化的图像质量和美学评估方法,通过提出高效的图像锚点消除了对表达性文本嵌入的需求,在七个现有自监督模型的广泛评估中,我们的方法表现出卓越的性能和鲁棒性,不受数据和预处理流水线的天性的影响,在有限的数据下能与人类评估高度一致,为图像评估提供了简化的解决方案,并对视觉信息的感知提供了深入洞察。
Mar, 2024
使用机器学习技术为网络服务提供商提供了一种实用的框架,可以评估和预测用户对服务的满意度,从而通过实时动态分配网络资源来降低成本并提高客户满意度。
Jun, 2024
本文提出了一种新的基于响应质量注释方法的自动化指标,通过引入五个新的与领域无关的特性集,实现了在单轮和对话层面上估计用户满意度的机器学习模型,并取得了较高的预测表现。
Nov, 2019
机器学习中数据质量评估工具的回顾与比较,提出了开源数据质量工具发展的路线图,并探讨了大型语言模型和生成式人工智能在数据质量评估和改进中的潜在应用。
Jun, 2024
本文研究了基于 QoS 的服务发现机制在 SOA 和电子商务领域中的应用,讨论了现有的 QoS tModel 表示方法在服务发现上的有效性和一致性,以及使用 tModel 方法解决在 UDDI 中存储和聚合 QoS 值的问题。
Dec, 2009
本文综述了传统图像信号和新兴信号(包括高动态范围(HDR)和 3-D 图像)的质量评估方法,提供了主观和客观图像质量评估的分类和综述,并评估了 9 种常用的质量评估指标在四个主观质量数据集上的表现和计算时间。本文还简要介绍了 3-D 图像质量评估,并综述了与该领域相关的问题。
Jun, 2014
提出了一种新的参考无需评估指标 QAScore,通过计算语言模型能否正确生成答案中掩码单词的概率来评估问题,发现它比传统的基于单词重叠的 BLEU,ROUGE 和预训练模型基于 BERTScore 等指标更能与人类判断相关。
Oct, 2022