ACLFeb, 2020

CoTK: 用于快速开发和公平评估文本生成的开源工具包

PDF
TL;DRCoTK 是一个开放源代码的工具包，旨在支持文本生成的快速开发和公平评估，它使得模型开发和评估标准化，减少之后可能会导致不一致实验设置的人为错误，并提供了许多通用度量实现和基准模型的相关功能。
text generationcotkmodel developmentmetric implementationexperimental settings
发现论文，激发创造
  • 文本特征化工具包

    本研究讨论了 NLP 模型性能评估中存在的偏向、伪相关以及假象等因素，并提出了使用 Text Characterization Toolkit 这一工具进行更深层次的结果分析和性质研究的方法。使用这一工具，可以预测难以处理的样本，识别数据集中潜在的（有害的）偏向和启发式方法。

    Oct, 2022

  • MATK：Meme 分析工具包

    社交媒体平台的兴起带来了一个被称为 “迷因” 的新数字文化。迷因结合了视觉和文字，可以对社会和文化问题的公众意见产生强烈影响。为了填补当前在这个领域缺乏公平基准和设置的单一库的空白，我们介绍了 Meme Analytical Tool Kit (MATK)，这是一个开源工具包，专门支持现有的迷因数据集和最先进的多模态模型。MATK 旨在帮助研究人员和工程师训练和复现这些多模态模型，用于迷因分类任务，并提供分析技术以洞察其优势和劣势。请访问 https://github.com/Social-AI-Studio/MATK 获取 MATK。

    Dec, 2023

  • CEval：用于评估反事实文本生成的基准

    反事实文本生成的基准评估库 CEval，结合了反事实和文本质量指标，包含了常用的反事实数据集和标注，以及标准基线模型和开源语言模型 LLAMA-2。实验结果显示，目前还没有完美的生成反事实文本的方法。在反事实指标方面表现优异的方法往往生成质量较低的文本，而使用简单提示的语言模型则能生成高质量的文本，但在反事实准则上有困难。通过将 CEval 作为开源 Python 库公开，鼓励社区贡献更多方法，并在未来的研究中保持一致的评估标准。

    Apr, 2024

  • CoTEVer: 用于解释验证的思路链提示注释工具包

    该研究提出了一种利用 CoT 提示的方法，可以通过生成解释来解决复杂的推理任务，但其性能受到生成解释的事实性的影响。为了改进生成解释的正确性，需要使用解释数据来微调语言模型。研究者使用 CoTEVer 工具箱为生成的解释注释事实上的正确性，并收集错误解释的修订数据。他们还提出了几种利用 CoTEVer 收集的数据来增强解释忠实度的用例。

    Mar, 2023

  • 复现一组可控文本生成技术的度量评估

    重新运行基于指标的评估比人为评估更直接且结果更接近，但在重新运行时不一定会产生与原始结果相同的结果，并且可能揭示原始工作的错误。

    May, 2024

  • 自动度量文本生成系统有效性研究

    本篇论文提出了一种新的理论方法，用以评估文本生成模型的可靠性与鲁棒性，并在 WMT 21 和 Spot-The-Bot 数据上进行了应用与验证，并实现了对样本量的有效估算。

    Oct, 2022

  • CTRLEval：用于评估受控文本生成的无监督无参考度量

    本文提出了一种称为 CTRLEval 的无监督无参考文本生成度量方法，通过将每个方面制定为多个文本填充任务，从不同角度评估受控制的文本生成。此度量方法无需进行任何模型训练，只需从预训练的语言模型中收集生成概率。实验结果表明，相比其他基线，该度量方法与人类判断的相关性更高，同时能更好地评估不同质量和模型的生成文本的一般性。

    Apr, 2022

  • OpenKiwi：一个用于质量估计的开源框架

    OpenKiwi 是一款基于 PyTorch 的开源框架，用于实现翻译质量估计的训练和测试，并在 WMT 2015-18 翻译质量估计竞赛中获胜。 OpenKiwi 在两个 WMT 2018 数据集上进行基准测试，对单词级别任务表现出最先进的性能，在句子级别任务上则接近最先进水平。

    Feb, 2019

  • OpenAttack：一个开源的文本对抗攻击工具包

    本篇论文提出了一个基于开源的文本对抗攻击工具包 OpenAttack，该工具包有其独特的优势，在支持所有攻击类型、多语言和并行处理方面表现突出。它包含 15 种典型的攻击模型，覆盖了所有攻击类型，高度包容性的模块化设计不仅支持现有攻击模型的快速利用，还能实现巨大的灵活性和可扩展性。OpenAttack 工具包广泛应用于攻击模型的比较和评估、模型的鲁棒性测试、辅助开发新的攻击模型和敌对训练等领域。

    Sep, 2020

  • Texygen: 文本生成模型基准测试平台

    Texygen 是一个支持对开放域文本生成模型进行研究的基准测试平台，它实现了大多数文本生成模型，并涵盖了一组用于评估生成文本的多样性、质量和一致性的度量标准。该平台有助于标准化文本生成研究，促进研究人员共享调整优化的开源实现，并改善未来文本生成研究工作的再现性和可靠性。

    Feb, 2018