Feb, 2022

结构化预测中模型更新回归的测量和降低方法在自然语言处理中的应用

PDF
TL;DR本文研究了结构预测任务中的模型更新回归问题，通过测量和分析了不同模型更新设置下的模型更新回归情况，探索和基准测试了现有的降低模型更新回归的技术，包括模型集成和知识蒸馏，并提出了一种简单有效的方法，称为 “Backward-Congruent Re-ranking (BCR)”，该方法结合了结构预测的特性，比模型集成和知识蒸馏方法更好地缓解了模型更新回归问题。
发现论文，激发创造
  • 回归错误藏于模型中！在 NLP 模型更新中测量、减少和分析回归问题

    本研究旨在量化、减少和分析 NLP 模型更新中的回归误差，并通过负翻转率作为度量标准，在 GLUE 基准测试中展示了回归错误的普遍存在。最终，我们使用知识蒸馏训练方法，通过模型集成来降低回归错误。同时，我们根据 CheckList 行为测试结果分析了回归在语言现象中的分布和模型集成、蒸馏方法的有效性。

    May, 2021

  • 机器学习系统中向后兼容性的实证分析

    本文研究机器学习中的更新问题，探讨了一些挑战和需要解决的问题，包括向后兼容性，数据偏移和噪声数据集等，并提出了解决这些问题的策略。

    Aug, 2020

  • 结构化预测模型的对抗攻击和防御

    本文研究了自然语言处理结构化预测任务中的攻击与防御。我们提出了一种使用来自同一结构化预测任务的多个参考模型的反馈的序列到序列模型来攻击结构化预测模型的新颖统一框架，并通过对抗训练进一步加强了受害模型的预测，使其更加鲁棒和准确。在依赖分析和词性标注中验证了该框架。

    Oct, 2020

  • 使用门控融合方法提高自然语言处理模型升级的预测向后兼容性

    本文提出了一种名为 “Gated Fusion” 的新方法，它通过学习在旧模型和新模型之间混合预测来促进向后兼容的模型升级，实验结果表明，该方法平均降低了 62% 的回归错误，比最强基线平均提高了 25%。

    Feb, 2023

  • 通过加权插值实现数据更新的向后兼容性

    研究机器学习应用中数据更新导致的负面影响，提出了一种名为 “Backward Compatible Weight Interpolation”（BCWI）的方法，该方法通过插值处理模型权重，实现了新模型精度提升，同时保持了与旧模型的向后兼容性。

    Jan, 2023

  • 学习向后兼容嵌入

    本文研究了嵌入式版本更新及其向后兼容性问题，并提出了基于学习向后兼容嵌入式的解决方案 BC-Aligner，成功解决了更新嵌入式版本但不需要重新训练消费者模型的问题。

    Jun, 2022

  • 神经网络基于转移的结构化训练解析

    通过结构化感知机训练和使用大量自动解析的句子来学习神经网络表示，我们的解析器在 Penn Treebank 数据集上达到了 94.26％的未标记和 92.41％的标记附加精度，是迄今为止在 Stanford Dependencies 上最佳的精度，并提供深入的剖析分析以确定模型的哪些方面提供了最大的准确性增益。

    Jun, 2015

  • 使用语言模型的自回归结构预测

    本文研究 NLP 中使用预训练语言模型（PLM）的结构化预测问题，描述了一种基于 PLMs 的结构建模方法，在命名实体识别、端到端关系提取和指代消解三个任务上实现了最新的最优性能。

    Oct, 2022

  • 自适应向后兼容训练的 MixBCT

    提出了 MixBCT，一种简单而高效的反向兼容训练方法，作为适用于不同质量旧模型的统一框架，通过构建单一损失函数实现了反向兼容训练。

    Aug, 2023

  • 基于结构的排序：依赖探测的语言模型排名

    通过衡量语言模型上下文嵌入中恢复标记树的程度，我们提出使用考察探测来对语言模型进行排序，从而确定适合特定语言的最佳模型选择。在 46 种不同类型和结构的语言模型 - 语言对中，我们的探测方法预测最佳语言模型选择的准确率为 79％，比训练完整解析器需要更少的计算量。在本研究中，我们发现 RemBERT 是一个最近提出的解耦合语言模型，它显著包含较少的固有依赖信息，但通常在完全微调后可以产生最佳的解析器结果。在排除这个异常值后，我们的方法在 89％的情况下确定最佳的语言模型选择。

    Jun, 2022