评估端到端生成系统的字幕分割

May, 2022

Evaluating Subtitle Segmentation for End-to-end Generation Systems

Alina Karakanta, François Buet, Mauro Cettolo, François Yvon

TL;DR研究字幕分割在使用不同于参考文本的输出时的评估方法，提出一种基于边界上的 BLEU 得分的字幕分割得分 $Sigma$。通过边界投影方法，将输出错误的假设映射到真实参考上，比较已有指标和 $Sigma$。研究结果表明，所有指标都能奖励高质量输出，但系统排名取决于每个指标对错误类型的敏感度，$Sigma$ 是一种有前途的分割候选者，但它与其他分割指标的可靠性仍需通过与人类判断相关性的验证来证实。

Abstract

Subtitles appear on screen as short pieces of text, segmented based on formal constraints (length) and syntactic/semantic criteria. subtitle segmentation can be evaluated with sequence segmentation metrics against a human reference. However, standard segmentation metrics cannot be appl

subtitle segmentation evaluation metrics end-to-end systems bleu score boundary projection

发现论文，激发创造

SubER：字幕质量自动评估指标

本文介绍了解决自动生成字幕质量评估问题的 SubER 度量方法，可综合考虑文本质量、分段及时间轴匹配，经人工评估表明此方法与后编辑准确性和人工评定分数高度相关，优于现有方法。

May, 2022

Subword 分段机器翻译：统一分段和目标句子生成

该研究提出了一种称为子词分节机器翻译（SSMT）的新方法，通过在单个可训练模型中联合学习目标句子单词的分割和目标句子生成，在生成翻译过程中采用动态解码算法进行细分操作，实验结果表明，SSMT 能提高粘着语言的 chrF 分数以及对于评估形态组成通用性构建的测试集的鲁棒性也更强。

May, 2023

评估 IWSLT2023 语音翻译任务：人工标注、自动评估和分割

从机器翻译系统开发中，人类评估一直是一个关键组成部分，并在文本翻译研究中受到了广泛关注。然而，在人类评估语音翻译方面，之前的研究工作很少，这增加了噪声数据和分割不匹配等额外挑战。我们通过对最近的第 23 届口语翻译国际研讨会（IWSLT 2023）中几项共享任务的结果进行全面人类评估，填补了这一空白。我们提出了一种基于自动重新分割和带有分割上下文的直接评估的有效评估策略。我们的分析揭示了以下结论：1) 提出的评估策略稳健，与其他类型的人类判断得分相关性很好；2) 自动指标通常与直接评估得分相关性较好，但不总是如此；以及 3) 虽然通过重新分割步骤引入了分割噪声，但 COMET 作为一种自动指标略优于 chrF。为了促进进一步的研究，我们发布了收集到的人类标注数据。

Jun, 2024

走向更好的文本到视频生成度量

本文研究现有评估指标的局限性，并引入一种新的评估方法，即 Text-to-Video Score (T2VScore)，该指标综合考虑了文本 - 视频对齐和视频质量两个关键要素。同时，我们提出了 TVGE 数据集，以评估和促进未来改进文本到视频生成的指标。在 TVGE 数据集上的实验证明了 T2VScore 的优越性，能够提供更好的评估指标。

Jan, 2024

机器翻译人类评估的有效性改进探讨

本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。

Apr, 2022

VideoSET：通过文本对视频摘要进行评估

本文提出 VideoSET，一种通过文本评估视频摘要的方法，该方法可以评估视频摘要能否保留其原始视频中包含的语义信息。我们观察到语义最容易用文字来表达，因此开发了一种基于文本的评估方法。通过生成视频摘要的文本表示，然后使用基于 NLP 的度量方法来测量其与人类编写的基准文本摘要的语义距离。我们展示了我们的技术与基于像素距离的度量方法相比具有更高的人类判断一致性。我们还发布了一些公开可用的视频数据集的文本注释和基准文本摘要，供计算机视觉社区使用。

Jun, 2014

SLIDE：使用滑动文档窗口进行无参考机器翻译评估

通过使用滑动窗口对每个测试集文档进行块级句子处理，并将每个块输入未经修改的现成品质估计模型，我们提出了一个名为 SLIDE（滑动文档评估器）的度量标准，发现 SLIDE 比其句子级基准模型在配对系统准确性上获得了显著改进，有时甚至消除了与基于参考文献的度量标准之间的差距，这表明源上下文可能提供与人类参考文献相同的信息。

Sep, 2023

PerSEval：文本摘要的个性化评估

个性化摘要模型研究了人们对要点的个人理解，通过他们的阅读历史和当前关注的主题进行表示。本文挑战了精度排行榜的必要性，并提出了一个新的度量指标 PerSEval，用于评估个性化文本摘要的程度。然后，通过在 PENS 数据集上对最新的十个摘要模型进行基准测试，我们验证了 PerSEval 的可靠性和可独立使用的特性。

Jun, 2024

SelfSeg: 神经机器翻译的自监督子字符分词方法

该论文介绍了一种名为 SelfSeg 的自监督神经子词分割方法，它比传统的字节对编码（BPE）更快，只需要单语词典而不需要平行语料库，并且在实验中表现出更好的性能。

Jul, 2023

自动字幕中消除对剧本依赖性的 SBAAM 方法

直接生成的自动字幕模型填补了依赖于中间文件的不足，通过消除对中间转录的依赖，实现了对多语种、多样化环境下的自动字幕新的最佳性能。

May, 2024