multidimensional quality metrics | BriefGPT

关键词multidimensional quality metrics

搜索结果 - 11

错误跨度标注：人工评估机器翻译的平衡方法
机器翻译评估中，综合的错误分类方法如多维度质量度量 (MQM) 需要耗费大量时间和专家参与，而只赋予整体评分，如直接评估 (DA)，虽然简单快捷但可靠性较低。本文提出一种人工评估协议 —— 错误跨度标注 (ESA)，将 DA 的连续评分与
PDF17 days ago
翻译质量测量的多范围理论：MQM 评分模型和统计质量控制
该论文详细介绍了最新的 MQM 发展，并提出了一种适用于三种样本大小范围的通用翻译质量测量方法，还介绍了为非常小的样本大小采用统计质量控制的原因，起点为单个句子。
PDFa month ago
COLING多维机器翻译评估：韩语模型评估和资源
通过提供一个英韩语言对的 1200 句 MQM 评估基准，将机器翻译评估重新定义为使用 SOTA 语言模型同时预测多个 MQM 分数的多任务问题，在参考 MT 评估和无参考质量估计（QE）设置中，我们发现无参考设置在风格维度上优于参考设置，
PDF3 months ago
英爱转换器式 NMT 的人工评估
该研究评估了超参数设置对基于 Transformer 的神经机器翻译在英语 - 爱尔兰语低资源对中的质量的影响。研究中使用了基于 Byte Pair Encoding (BPE) 和 unigram 方法的 SentencePiece 模型
PDF4 months ago
细调的机器翻译度量在未知领域中面临困难
我们引入了一个新的广泛的多维质量度量（MQM）注释数据集，涵盖了生物医学领域的 11 种语言对。我们利用该数据集来研究在训练和推理之间领域转移时，是否基于人工生成的机器翻译质量评判进行微调的机器翻译（MT）度量指标是否具有稳健性。我们发现，
PDF4 months ago
错误中蕴藏着魔鬼的力量：利用大型语言模型进行细粒度机器翻译评估
自动机器翻译评估是推动机器翻译系统快速迭代发展的关键工具，本文在已有单一评分指标的基础上提出 AutoMQM，一种通过大语言模型的推理和上下文学习能力来识别和分类翻译错误的提示技术。通过评估最新的大语言模型 PaLM 和 PaLM-2，通过
PDFa year ago
评估汉英情感微博文本机器翻译：一份用于情感翻译质量评估的人工标注数据集
本文关注机器翻译对情感文本的翻译表现，并通过提出的基于多维质量度量的评估框架，对谷歌翻译的输出进行评估。作者发现大约 50% 的机器翻译输出没有保留原始情感，并认为情感承载词和语言现象是这些翻译错误的常见原因。
PDFa year ago
阿里巴巴 - 翻译 2022 WMT 质量评估共享任务中国提交
本研究使用 UniTE 框架，通过预训练语言模型的三种输入格式进行训练，并采用数据修剪和评分规范化策略来减小预训练和微调之间的差距。使用了过去多年的 WMT 比赛的 Direct Assessment 和 Multidimensional
PDF2 years ago
专家、误差与上下文：人工评估机器翻译的大规模研究
研究机器翻译质量评估的难点在于缺乏标准程序及评估方法的计量问题。本研究提出一套基于明示错误分析及 MQM 框架的评估方法，并应用于 WMT 2020 挑战赛的两个语言对中来自高水平机器翻译模型的输出进行评估。评估结果与 WMT 众包评估结果
PDF3 years ago
机器翻译系统的定量细致人类评估：以英语到克罗地亚语为例的案例研究
本文提出了一种基于多维质量度量（Multidimensional Quality Metrics，MQM）误差分类的手动评估方法，以评估不同机器翻译系统之间的性能差异是否显著，针对英语到克罗地亚语这一翻译方向，比较了纯基于短语的、分解短语的
PDF6 years ago
神经网络与基于短语的机器翻译的细粒度人类评估
本研究通过错误标注的方法比较了三种统计机器翻译方法（基于短语、因式分解基于短语和神经网络），结果显示最佳性能的神经网络系统比最差性能的基于短语系统减少了 54% 的错误，而错误类型符合多维质量度量标准（MQM）。
PDF7 years ago