Jul, 2023

材料科学中的自复现经验教训

PDF
TL;DR我们的研究对两篇杰出的物质科学文献领域的先驱作品进行了重现性分析：金和安迪的 “氧化物材料机器学习和编码合成参数” 和西托扬的 “无监督词嵌入从物质科学文献中捕捉潜在知识”。我们的研究发现这两篇论文的工作流程严谨，代码可复现，获得了明确的模型评估指导；然而，还存在改进的空间，如尽可能提供训练数据的访问权限，提供更多关于模型架构和训练过程的透明度，以及规定软件依赖版本。
natural language processingmaterials science literaturereproducibility analysisword embeddingsresearch reproducibility
发现论文，激发创造
  • 自然语言处理可重现性研究的系统综述

    研究了自然语言处理领域内可重复性的困境，探索了不同声音和共通点。

    Mar, 2021

  • 面向所有人的 NLP 可重复性：理解初学者的经历

    本文为了解当下自然语言处理领域新手对当前研究重复性工作的需求，对 93 名 introductory NLP 课程学生开展了研究。结果表明，编程技能和对研究论文的理解与其完成任务的时间无明显相关性，而研究作者开源工作的可访问性、文档完整性、良好编程规范和易于获取数据文件等均对成功至关重要。此外，作者建议自然语言处理研究者关注这些简单但关键的方面并充分利用初学者的反馈来提供更好的支持和改进。

    May, 2023

  • 运用自然语言处理技术分析无机材料文献的研究趋势

    该研究提出了一种基于自然语言处理的大规模流程，用于从材料科学文献中提取材料名称和特性，以便进行材料科学的搜索和检索。实验证明这种方法是成功的，可以用来分析材料科学的趋势，如 MoS2 等材料在中国不断增加，而在美国减少。

    Jun, 2021

  • 自然语言处理初学者的再现性经验之外：超越研究界的再现性

    通过对 93 名入门 NLP 课程的学生进行实验，研究发现初学者技术水平并不影响他们完成最新 NLP 技术的实验，关键在于研究作者提供易用性的文档和数据集。

    May, 2022

  • NLP 中无法评估先前人类评估的再现性：信息缺失，作者不响应，实验缺陷

    该研究为了检查人类对 NLP 的评估是否可重复进行了集体研究，结果发现大多数近期的研究不可重复、不可复制，需要重新设计并报告人类对 NLP 的评估方式。

    May, 2023

  • 自然语言处理的可复现性分析：用多个数据集测试意义

    该论文提出了一种重复性分析框架，用于对 NLP 任务算法的多个比较进行统计学分析，相对于 NLP 文献中目前未经统计证明的传统做法具有显著的理论优势，并通过多个应用案例展示了其实证价值。

    Sep, 2017

  • 提高机器学习研究的可重复性 (来自 NeurIPS 2019 可重复性计划的报告)

    本文介绍了 2019 年 NeurIPS 会议针对机器学习研究推出的可重复性计划，包括代码提交政策、全社区可重复性挑战和将机器学习可重复性清单作为论文提交过程的一部分，阐述了每个组件的部署以及我们从这个计划中学到了什么。

    Mar, 2020

  • 将复制和复现与 NLP 中的泛化能力联系起来：针对目标依赖性情感分析的三个复现研究

    本研究旨在解决自然语言处理中重复性和普适性问题，并以目标相关情感分析为例，证明最近该领域的工作缺乏足够的代码共享和方法描述，缺乏对数据的可比性和泛化性。研究人员运用三种互补方法进行了第一次再现研究，并在六个不同的英文数据集上进行了第一次大规模评估，推荐未来考虑多种数据集、发布代码，以便最大程度上减少使可重复性和普遍性困难的障碍。

    Jun, 2018

  • 引用是否能反映一篇论文的可重复性？机器学习论文案例研究

    使用下游引文语境作为可再现性的信号进行情感分析，以解释机器学习复现挑战中复现尝试的积极或消极结果。

    May, 2024

  • MatSci-NLP: 使用文本到模式建模评估科学语言模型在材料科学语言任务上的表现

    本文提出了 MatSci-NLP 标准，旨在评估自然语言处理模型在材料科学文本上的性能，其中包括命名实体识别和关系分类等传统 NLP 任务以及涉及创建材料合成程序的特定于材料科学的 NLP 任务。作者的实验结果表明，预先训练的模型对科学文本的理解优于对一般文本的 BERT 模型训练，并提出了一种基于问题回答方法的 NLP 多任务学习方法，其性能优于传统的微调方法。

    May, 2023