EMNLPJul, 2017

报告评分分布很重要：LSTM 网络的序列标记性能研究

PDF
TL;DR本文探讨了单一性能评分不足以比较非确定性方法的问题，并通过对序列标记任务的实验表明，随机数种子的选择可以导致最先进系统的 F1 得分的绝对差异，提出通过多次执行比较分数分布的方法，通过五项序列标记任务的实验，提出了产生优越性能和更稳定的网络体系结构。
发现论文，激发创造
  • 序列标注任务中深度 LSTM 网络的最优超参数

    通过评估超过 50,000 种不同的设置，我们发现网络设计选择和超参数对五个常见的语言序列标记任务，即 POS、块状、NER、实体识别和事件检测有显着影响，尤其是预先训练的词嵌入或者网路的最后一层。对于 LSTM 层数或循环单元的数量等其他参数相对不太重要。我们建议一种配置，可以在不同任务之间表现优异。

    Jul, 2017

  • 比较单个性能得分并不能得出关于机器学习方法的结论

    本文研究了模型性能评估方法的可靠性问题，并探讨了仅基于分割数据集评估模型性能的评估方法存在的缺陷。作者提出了基于分数分布的评估方法来代替传统评估方法。

    Mar, 2018

  • LSTM 网络基准测试

    该技术报告描述了使用 MNIST 和 UW3 数据库对 LSTM 网络进行基准测试的结果，并探讨了不同架构和超参数选择对性能的影响。该研究表明：（1）LSTM 性能平滑地取决于学习率，（2）批处理和动量对性能没有显着影响，（3）softmax 训练优于最小二乘训练，（4）孔径单元无用，（5）标准非线性函数（tanh 和 sigmoid）性能最佳，（6）将双向训练与 CTC 相结合比其他方法表现更好。

    Aug, 2015

  • 使用鲁棒非参数统计方法测量模型变异性

    深度神经网络的训练通常涉及随机优化，种子的选择对于训练模型的质量至关重要，本文通过鲁棒的假设检验提出了一个新的网络相似性的统计量，利用该统计量来指导随机种子的选择，同时展示了该统计量在实验中的价值和在迁移学习中调优相比随机种子选取的优势。

    Jun, 2024

  • 评估神经语言模型中的分布扭曲

    我们发现，LSTM 和 Transformer 语言模型系统地低估了来自目标语言的序列的概率，并且对于不太可能出现的序列更为严重，尽管使用更多的训练数据减轻了这种倾向，但这种低估行为还是存在，并且在目标分布熵较低时加剧了这种情况，并且找到了导致这种概率差距的原因在于语言模型往往会高估不规范序列的概率。

    Mar, 2022

  • 基准透明度：测量数据对评估的影响

    本文提出了一个自动化框架来测量数据分布对自然语言处理模型性能和评估的影响，并通过两组实验表明数据的分布对评估具有统计学上的重要性，并且可预测模型的泛化能力。

    Mar, 2024

  • 关于随机种子对临床分类器公平性的影响

    本研究探究了深度学习模型训练中随机种子变化对模型公平性的影响，并使用 MIMIC-III 的临床预测任务验证了该现象，结果显示小样本和随机性可能导致结果的表面差异，同时同时优化高性能和低差异性并不能显著提高模型性能。

    Apr, 2021

  • 针对条件自然语言生成的分布感知度量

    本文提出了一个新的方法对多样本设置下条件语言生成模型进行评估，通过对多个生成的结果进行比较，以区分单一描述和多样性质的差异并提出一些结论。

    Sep, 2022

  • 微调预训练语言模型：权重初始化，数据排序和早期停止

    该研究通过对 GLUE 基准测试中的四个数据集进行 BERT 的微调，发现同样参数下，不同的随机种子会导致非常不同的结果表现，并且在权重初始化和训练数据排序的两个方面探究其对结果的影响。此外，该研究对微调方法的实现提出了最佳实践，并公开其所有实验数据以供更深入的分析。

    Feb, 2020

  • 展示你的工作：实验结果的改进报告

    通过使用验证数据和计算预算等指标，本文提出了一种新的模型比较方法，从而帮助实现更好地汇报实验结果和确保未来准确对比。

    Sep, 2019