Sep, 2020

CodeBLEU: 一种自动评估代码合成的方法

PDF
TL;DR本研究提出 CodeBLEU 作为一种新的自动代码评估指标，它可通过 n-gram 匹配吸收 BLEU 的优点，并通过抽象语法树和数据流注入代码语法和语义，实现对三种代码合成任务的质量评估，结果表明，与 BLEU 和准确性相比，我们的提出的 CodeBLEU 可以更好地与程序员分配的分数相关联。
codebleuevaluation metricscode synthesisbleuabstract syntax trees
发现论文，激发创造
  • 报告 BLEU 分数需要更清晰明确的呼吁

    机器翻译衡量指标 BLEU 存在参数化问题，可采用 WMT 会议上的 BLEU 方案，同时提供新工具 SacreBLEU 以避免标准化及标记化不一致问题。

    Apr, 2018

  • 增强的双语评估助手

    本研究通过在 Bilingual Evaluation Understudy（BLEU）评估技术上进行改进，提出了一种适应人类评估的评估技术，该技术可以考虑包括同义词和词序在内的变化，并且与现有的评估方法相比，有较好的改进和相关性。

    Sep, 2015

  • 神经代码摘要评估

    本文采用系统性和深入分析方法，分析了 5 种最先进的神经代码自动摘要模型在 6 种广泛使用的 BLEU 变量、4 种预处理操作及其组合以及 3 种广泛使用的数据集上的评估结果，发现评估代码摘要模型的三个主要因素 ——BLEU 评估指标、代码预处理选择和数据集特征 —— 对模型的性能和排名有重要影响。文章提出了可行建议来评估代码自动摘要和在不同情景下选择最佳方法，并建立了一个共享代码自动摘要工具箱促进未来研究。

    Jul, 2021

  • BLEU Meets COMET: 结合词汇和神经度量以实现机器翻译评估的稳健性

    本研究探讨将传统评估方法如 BLEU 或 chrF 与基于神经网络的机器翻译评估方法如 COMET 或 BLEURT 相结合，通过使用附加的诸如句子级特征和单词级标签等额外信息训练评估指标，提高了最新状态下的机器翻译评估方法的稳健性，从而在几种语言对上提高了与人类判断的相关性和在挑战数据集上获得了更好的表现。

    May, 2023

  • BLEU 不适合于文本简化的评估

    本文表明，BLEU 评估指标并不适合评估句子分裂等结构方面的文本简化操作，并展示了 BLEU 评分与语法性和保留意义参数之间的低或无关性，并且，BLEU 评分通常与简洁性呈负相关，实质上惩罚了简单的句子。

    Oct, 2018

  • 超越 BLEU：利用语义相似性训练神经机器翻译

    本文提出了一种基于语义相似度的代替奖励函数来优化 NMT 系统，在四种不同的语言翻译成英语的情况下，本文的方法不仅能提高 BLEU 和语义相似度的评估准确性，而且优化过程更快。

    Sep, 2019

  • BLEU 或许有罪但参考文献并不无辜

    本研究通过比较不同收集参考文献的方法，找到了提高机器翻译自动测量与人工评估相关性的关键。同时，提出了基于语言学家的改写任务，解决了传统参考文献的单调性问题，它不仅能够提高 WMT 2019 英德翻译的相关性，而且对于后翻译和 APE 增强的 MT 输出，同样具有良好的表现。

    Apr, 2020

  • BLEU 的黑箱：重新评估自动机器翻译评估指标

    研究了自动度量在机器翻译系统开发和评估中的问题，发现现有的判断度量方法对于用于评估的翻译非常敏感，特别是存在异常值的情况下，经常会导致关于指标作用的错误结论。研发了一种用于阈值性能提高的算法，可以模拟在与人工判定相比的情况下出现的 2 类误差。这些结果表明，需要改进度量评估和系统性能评估协议。

    Jun, 2020

  • 代码注释翻译：模型效果与误差比较研究

    比较三种源代码摘要生成模型的定量和定性评估，揭示了基于度量的性能与模型预测错误之间关系的新洞见，并提供了摇号学习实验中可以用来推动未来研究工作的经验性错误分类学。

    Jun, 2021

  • BlonDe：一种用于文档级机器翻译的自动评估指标

    本文提出了一种新型的自动评估方法 BlonDe，通过将话语连贯性考虑在内来扩大自动翻译评估的范围，从句子级别提高到文档级别，该方法能够更好地区分文档级别的翻译质量改进和句子级别的改进，并且具有更好的判别性、可解释性和敏感性。在大规模的人类研究中，BlonDe 也成功地取得了比前期评估指标更高的 Pearson r 相关度。

    Mar, 2021