Apr, 2020

NUBIA：基于神经网络的文本生成可互换性评估器

PDF
TL;DR介绍了 NUBIA 方法，该方法使用机器学习模型作为核心组件来构建文本生成的自动评估度量标准，演示了该方法优于当前用于评估机器翻译和文摘的度量标准，并在 WMT 分割级直接评估任务，句子级排序和图像字幕评估中略微超过 / 达到人类判断的最新度量标准，该模型实现是模块化的，可解释的，并会持续改进。
nubiaautomatic evaluation metricsmachine learning modelsneural feature extractorhuman judgment
发现论文，激发创造
  • 朝向可解释和高效的基于参考文献的自动文摘评估

    本研究旨在开发两种不同的自动评估测量标准来评价文本摘要的质量，其中包括两种可以在单元级别和总结级别上提供高可解释性的两阶段测量标准和一种在效率和互操作性之间取得平衡的一阶段测量标准。同时，我们开发的工具已经通过 Python 软件包和 GitHub 免费提供给公众。

    Mar, 2023

  • LUNA：语言理解和自然度评估框架

    LUNA 是一个自然语言生成模型评估工具，通过引入 20 个不同的评估指标，基于参考依赖性和文本表示的类型进行分类。其设计简单易扩展，并提供了一个用户友好的评估生成文本的工具。

    Jan, 2024

  • AMU-UEDIN 参加 WMT16 新闻翻译任务： 以基于注意力的 NMT 模型作为基于短语的 SMT 的特征函数

    本文提出了将基于注意力的神经翻译模型与基于短语的统计机器翻译方法集成的方法，并使用有效的 GPU 批处理算法。在 WMT 2016 共享任务上，该方法的英俄翻译系统表现早期略逊于基于纯神经网络的系统，但在限制系统方面表现优异。而其俄英翻译系统在 BLEU 评估中取得最佳结果，表现优于最佳纯神经网络系统 1.1 个 BLEU 点和基于短语的基线系统 1.6 个 BLEU 点，且在其限制系统的聚类中表现最佳。

    May, 2016

  • NÜWA: 神经视觉世界创造的视觉综合预训练

    本文提出了一种名为 N'UWA 的统一的多模态预训练模型，可以生成新的或调节现有的视觉数据（即图像和视频）以进行各种视觉合成任务。N'UWA 在 8 个下游任务上的表现超过了强基准，并且在文本到图像生成，文本到视频生成，视频预测等任务上实现了最先进的结果。此外，它还表现出惊人的零成本能力，用于文本引导的图像和视频操作任务。

    Nov, 2021

  • 面向文本生成的统一多维度评估器

    提出了一种基于多维度布尔问题回答任务的统一评价器 UniEval，通过指导模型回答不同问题的方式，从多维度评估自然语言生成的质量，并且通过中间学习阶段，UniEval 可以整合来自多个相关任务的外部知识，以实现更全面的评估。实验表明，UniEval 比现有的评估指标与人类判断的相关性更高，可在多个任务中实现强的零次学习能力。

    Oct, 2022

  • 内部故事：迈向更好理解机器翻译神经评估指标

    本文研究了神经度量与传统度量方法在评估机器翻译中的差异，并开发了多种神经可解释性方法来解释这些度量方法，并证明这些方法能够有效地分析翻译错误，促进未来的研究。

    May, 2023

  • 训练，分类，解释：学习诊断翻译模型

    本文介绍了一种基于神经文本分类器的方法，将自然语言处理中翻译模型的自动化评估与人类评估相结合，并揭示人机差异，其中包含翻译质量和人工智能的深入讨论。

    Mar, 2019

  • UNIAA: 统一的多模态图像审美评估基准和参考

    通过提出统一多模态图像审美评估（UNIAA）框架，包括带有视觉感知和语言能力的多模态大型语言模型（MLLM）UNIAA-LLaVA 以及一个全面的基准 UNIAA-Bench，本文将图像审美评估（IAA）的成本降低，并通过解决现有数据集转化问题，在多个审美水平上验证了 UNIAA 的有效性和合理性。

    Apr, 2024

  • 寻找平衡自动化程度的摘要评估方法

    本文提出了一种半自动到全自动的摘要评估方法，包括使用自然语言推理模型替代手动评价 Summary Content Units（SCUs）在系统摘要中的存在，并使用 语义角色标注模型自动提取 Semantic Triplet Units（STUs）来替代 SCUs，同时提出了 Lite2.xPyramid 作为中间度量方法，其使用简单的回归器来预测 STUs 如何模拟 SCUs，并保留更难以模拟的 SCUs。其中 Lite2Pyramid 在摘要级别的相关性方面表现最佳，Lite3Pyramid 在自动评估方面效果更好，Lite2.xPyramid 则为自动评估和手动评估提供了平衡。

    Sep, 2021

  • 多模态自动可解释性代理

    这篇论文介绍了 MAIA，一种多模态自动解释性代理。MAIA 是一个使用神经模型自动化神经模型理解任务的系统，如特征解释和故障模式发现。它通过提供一系列工具来对其他模型的子组件进行迭代实验，从而对其行为进行解释。这些工具包括人工解释性研究人员常用的工具：用于合成和编辑输入、计算最大激活样本、以及总结和描述实验结果。MAIA 提出的解释性实验将这些工具组合起来描述和解释系统行为。我们评估了 MAIA 在计算机视觉模型中的应用。首先，我们描述了 MAIA 在学习到的图像表示的特征（神经元级别）中的描述能力。在多个经过训练的模型和一个包含真实描述的人工生成视觉神经元数据集中，MAIA 生成了与由专家人工实验者生成的描述相当的结果。然后，我们展示了 MAIA 在两个附加的可解释性任务中的应用：降低对虚假特征的敏感性和自动识别可能被错误分类的输入。

    Apr, 2024