quality estimation | BriefGPT

关键词quality estimation

搜索结果 - 49

ACL关于数据标注的高效和统计质量估计
使用置信区间寻找估计注释错误率所需的最小样本量，然后提出应用接受抽样作为错误率估计的一种替代方法，展示接受抽样可以减少最多 50% 的所需样本量，同时提供相同的统计保证。
PDFa month ago
利用人类反馈改进机器翻译：基于质量估计的奖励模型探索
在这项研究中，我们调查了采用质量估计 (QE) 模型作为奖励模型 (基于 QE 的奖励模型) 以预测人类偏好用于反馈训练的潜力，并解决了过优化问题以及错误传播问题。通过准确检测出错误翻译并对其进行罚分，我们提出了一种简单而有效的方法。实验结
PDF5 months ago
APE-then-QE: 修正并过滤伪平行语料以用于机器翻译训练数据的生成
自动后编辑（APE）是自动识别和校正机器翻译（MT）输出中的错误的任务。我们提出了一种修复 - 过滤 - 使用的方法，使用 APE 系统来校正 MT 训练数据的目标端的错误。我们根据使用质量估计（QE）模型计算的质量分数选择原始和校正句子对
PDF7 months ago
2023 年 SurreyAI 质量评估共享任务提交
本研究描述了 SurreyAI 团队在 WMT23 的句子级直接评估共享任务中采用的方法，该方法在 TransQuest 框架的基础上利用自编码器预训练语言模型构建 MonoTransQuest 架构，并使用单一和集合设置。通过使用斯皮尔曼
PDF7 months ago
没有比更好的数据更好的数据：使用质量度量对 MT 数据进行过滤
使用质量评估（QE）指标过滤训练数据的句子对可以提高翻译质量并减少训练规模一半。
PDF8 months ago
小巨人：探索小型 LLMs 作为 Eval4NLP 2023 共享任务摘要评估度量的潜力
本文描述和分析了我们参与 2023 Eval4NLP 共享任务的工作，该任务主要关注评估基于提示的技术对大型语言模型在质量估计任务中的有效性，特别是在评估机器翻译和摘要的背景下。我们进行了系统实验，尝试了各种提示技术，包括标准提示、基于注释
PDF8 months ago
GEMBA-MQM: 用 GPT-4 检测翻译质量错误片段
这篇论文介绍了 GEMBA-MQM，它是一种基于 GPT 的评估指标，专门用于检测翻译质量错误，尤其适用于无需人工参考翻译的质量估计设置。基于大型语言模型（LLM）的强大能力，GEMBA-MQM 采用了固定的三步提示技术，查询 GPT-4
PDF8 months ago
COMETKIWI 规模化：Unbabel-IST 2023 的质量估计共享任务提交
我们介绍了 Unbabel 和 Instituto Superior Técnico 在 WMT 2023 共享任务上对资料估计（QE）的联合贡献。我们的团队参与了所有任务：句子和单词水平的质量预测（任务 1）以及精细错误跨度检测（任务 2
PDF9 months ago
MBR 和 QE 微调：训练时间中最佳和最昂贵解码方法的蒸馏
通过在推论阶段使用高效解码算法并在训练阶段提炼质量收益，提出了 MBR（最小贝叶斯风险）微调和 QE（质量评估）微调方法，通过使用自我训练模型和外部 LLM（语言模型）作为教师模型，这些微调方法在自然语言生成（NLG）任务中达到了比人生成参
PDF9 months ago
基于训练数据直接证据的机器翻译文本质量评估
本文研究了使用平行语料库来估计由数据驱动机器翻译系统产生的翻译质量，并展示了该简单直接的方法对机器翻译系统的翻译质量估计具有潜在的应用价值。
PDFa year ago
基于知识提示的评估器：一种新颖的可解释机器翻译评估方法
本文提出一种基于 CoT 提示的 KPE 方法，该方法结合了 Perplexity、Token-Level 相似性和 Sentence-Level 相似性的技术。实验证明，与以前的深度学习模型和单步提示方法相比，该方法的分段估计性能得到了显
PDFa year ago
少即是多”：“少样本” 质量评估基于语料库过滤提升机器翻译
本文提出了一种基于质量评估的过滤方法，以从伪平行语料库中提取高质量的平行数据，并通过使用过滤后的语料库进行训练，改善了机器翻译系统的性能。该方法在英语 - 马拉地语、中文 - 英语和印地语 - 孟加拉语语言对中表现出了很好的效果，通过迁移学
PDFa year ago
基于扰动的质量评估：一种可解释的无监督词级别黑盒机器翻译质量评估方法
本研究提出基于扰动的无监督学习方法，用于评估黑盒机器翻译模型的质量，表现出更好的泛化能力和解释性。
PDFa year ago
探索使用大型语言模型进行人类化翻译策略
本文提出了一个名为 MAPS 框架，通过多方面提示和选择的方式，使用大型语言模型分析源文本获取三个与翻译相关的知识方面：关键词、主题和相关演示，并通过质量估计的机制过滤噪音和无用的知识来指导翻译过程，实验证明 MAPS 在最新的 WMT22
PDFa year ago
机器翻译质量评估领域自适应优化
本文介绍了一种强大的质量估计系统，通过结合领域自适应和数据增强的方法，解决了数据稀缺和领域匹配的问题，获得了明显的性能提升，具有更好的跨语种推理和零样本学习表现。
PDFa year ago
ACL质量估计之穷人版：在没有参考文本的情况下预测基于参考文本的机器翻译度量
本文提出了一种基于预训练模型的机器翻译质量评估方法，通过度量预测模型评分来进行质量评估并为人工评估模型提供预训练；实验结果表明，该方法在无需参考标准情况下依然可以上可接受的精度，但也存在一定的局限性。
PDFa year ago
关于使用平行数据进行翻译质量评估的研究
本文重点研究了机器翻译的质量估计，通过对比使用不同方向的平行数据在数据增强方面的影响，发现使用原文作为源数据可以带来相对较好的效果。
PDF2 years ago
用机器学习预测文章质量得分：英国研究卓越框架
利用人工智能和多个引文计量和元数据输入进行的质量估计，与简单的定量指标和耗费时间的同行评审相比，得出更好的结果；医学和物理学科的精度最高，社会科学、数学、工程、艺术和人文学科的表现较差。
PDF2 years ago
EMNLP能力感知神经机器翻译：机器翻译是否可以知道自己的翻译质量？
本文提出了一种新的能力感知神经机器翻译方法，通过自估计器扩展传统神经机器翻译，使其具备翻译源句子和估计其能力的能力，在四项翻译任务上取得了卓越的表现，并显示出与人类质量判断的高相关性。
PDF2 years ago
阿里巴巴 - 翻译 2022 WMT 质量评估共享任务中国提交
本研究使用 UniTE 框架，通过预训练语言模型的三种输入格式进行训练，并采用数据修剪和评分规范化策略来减小预训练和微调之间的差距。使用了过去多年的 WMT 比赛的 Direct Assessment 和 Multidimensional
PDF2 years ago