EMNLPOct, 2023

重新思考对预训练语言模型机制的有效度量构建

PDF
TL;DR提出了一种通过拓扑探针度量预训练语言模型内部关系的方法，并在 BERT-large 上进行实验。基于实验结果，提出了关于 BERT-like 预训练语言模型工作机制的假设，并提出了通过拓扑探针提高特定子模块微调性能的策略。
发现论文，激发创造
  • 预训练语言模型中衡量代表性伤害的度量指标的实证研究

    本文通过对普及的预训练语言模型（PTLMs）的大规模数据进行实证分析，探讨测量 PTLMs 中对 13 个弱势人群的隐含偏见和有害内容所产生的表示损害的方法，并发现神经网络的深度对于减轻表示损害有所帮助。

    Jan, 2023

  • 内部故事：迈向更好理解机器翻译神经评估指标

    本文研究了神经度量与传统度量方法在评估机器翻译中的差异，并开发了多种神经可解释性方法来解释这些度量方法，并证明这些方法能够有效地分析翻译错误，促进未来的研究。

    May, 2023

  • 机器翻译可解释评估指标的研究

    本概念论文介绍了可解释机器翻译指标的关键属性和目标，并提供了最新的基于生成模型的可解释性指标技术综合。同时，我们展望了下一代技术包括自然语言解释，并希望本文能够帮助促进和指导未来可解释评估指标的研究，同时有助于更好、更透明的机器翻译系统。

    Jun, 2023

  • 关于语言模型在视觉概念语义相似度评估方面的可解释性研究

    这篇研究探讨了高性能预训练语言模型的表现，并提出了一些可解释的评估指标用于理解检索实例的概念质量，并对具有明显查询语义的对抗性干预进行了测试，揭示了不透明指标中的漏洞并显示了学习语言表示中的模式。

    Sep, 2022

  • 面向预训练语言模型的可解释性评估基准

    本文提出一种基于英文与中文标注数据的新型评估基准，旨在测试预训练语言模型在语法、语义、知识、推理和计算等多个方面的能力，并提供满足充分性和紧凑性的标注标记级别的理由，以及人性化的实例扰动，从而使用照常理性度量：诚实度的角度。实验结果表明，预训练语言模型在知识和计算方面表现非常糟糕；尤其是在理由较短的情况下，其所有维度上的可信度都远远不足够，并且在语法感知数据上评估的预训练语言模型不稳健。

    Jul, 2022

  • 面向自然语言生成的可解释评估度量

    本文提出了解释性机器翻译评估指标的关键属性和目标并综述了最近的方法，通过实验发现当前的对抗性 NLP 技术不能自动识别高质量黑盒评估指标的局限性，提出了未来解释性评估指标的发展方向。

    Mar, 2022

  • 自然语言处理性能评估指标的全球分析

    本文介绍了自然语言处理领域中用于测量模型性能的度量标准，发现当前使用的大多数指标存在评估不足及解释性差等问题，导致透明性和可重复性的降低。

    Apr, 2022

  • 为机器翻译学习紧凑的度量

    使用 RemBERT 模型的实验表明，模型大小限制了跨语言转换的效率，将知识从一名教师传递到以相关语言训练的多个学生可以通过蒸馏解决这个问题，该方法可以使性能提高 10.5％，并仅使用 RemBERT 的三分之一的参数即可达到 92.6％的性能。

    Oct, 2021

  • BERT 基准评估指标的可重复性问题

    研究探讨最近四种基于 BERT 的方法是否具有可重复性，发现研究结果通常由于未进行文档化的预处理、缺失代码、报告基准度量产生更弱的结果等原因而失败，一个问题源于将分数与错误的 csv 文件列相关联而使得分数高 5 点。同时，该研究还证明了预处理方法对 BMP 预测影响巨大，而该影响可能比聚合机制还要大。

    Mar, 2022

  • 可视化和测量 BERT 的几何形状

    本文描述了一种特别有效的模型 BERT，它能够通过从语义和句法子空间中提取一般有用的语言特征来代表语言信息，同时还探讨了注意力矩阵和单词嵌入中的句法表示，并提出了一种数学证明来解释这些表示的几何形态。

    Jun, 2019