Jun, 2023

调查（不）平衡和计算机密集型自然语言处理研究的问题

PDF
TL;DR本文通过一项针对 312 名 NLP 群体成员的调查，对当前自然语言处理中在环境影响、公平性等三个方面所引起问题的现状与成因进行了分析，并提出了一些缓解措施。
发现论文，激发创造
  • 自然语言处理中偏差和公平性调查

    本次调查分析了 NLP 模型的社会影响，探讨了 NLP 算法中存在性别、种族和文化偏见的根源，定义了公平性，并说明了 NLP 各个子领域如何减少系统存在的偏见，最终讨论了未来研究如何消除 NLP 算法中的有害偏见。

    Mar, 2022

  • 对同行评审中公平性差异的研究：一种语言模型增强方法

    本文通过大型语言模型（LMs）彻底研究和研究了同行评审中的公平性差异问题，在多个受保护属性的兴趣下，包括作者性别，地理，作者和机构声望等方面，观察到差异水平不同，文本特征在减少偏见中是必不可少的，同时研究了同行评审过程的自动化机器评审系统的一个具体例子，并提供了评审生成和评分任务的基准模型，这个数据集可用作基准。

    Nov, 2022

  • 大型语言模型中的隐私问题：综述

    在大型语言模型中，该研究对隐私问题进行了第一次调查，重点关注对模型进行红队测试以凸显隐私风险、试图将隐私性纳入训练或推理过程、实现从训练模型中高效删除数据以遵守现有隐私法规，并试图缓解版权问题。

    Dec, 2023

  • 自然语言处理和大型语言模型的公平认证

    发展公平认证以确保自然语言处理系统的算法公正性和对少数群体的非歧视性。

    Jan, 2024

  • 大型语言模型中的偏见和公平性研究综述

    大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

    Sep, 2023

  • 自然语言处理的高效方法：一项调查

    本文介绍了在资源有限的情况下，如何在自然语言处理中提高处理效率的方法和研究方向。

    Aug, 2022

  • 自然语言处理中社会人口统计信息偏差调查

    本篇论文调查了 209 篇关于自然语言处理模型中的偏差的论文，提出了社会人口统计学偏见的定义，并确定了研究偏见的三个主要类别：偏见类型，偏见度量和去偏见。作者总结说，目前的去偏见技术是肤浅的，不能真正消除偏见；最后提供了未来工作的建议。

    Jun, 2023

  • 自然语言处理中公平与环境可持续性的桥梁

    探讨现行公平方法的效率和减少自然语言处理模型能源消耗的知识蒸馏技术对公平性的影响，并发现知识蒸馏技术实际上可以降低模型公平性。

    Nov, 2022

  • 预训练语言模型压缩和加速综述

    该文章调查了预训练语言模型的压缩和加速方法，重点关注了模型在 NLP 领域推理阶段的表现，并提出为 NLP 的整个生命周期（包括数据准备、模型训练和推理）综合考虑计算、时间和碳排放的高效 NLP 研究。

    Feb, 2022

  • NLP 研究者的信仰是什么？NLP 社区元调查结果

    本文介绍了 NLP 社区元调查的结果，涉及人工智能、道德伦理等多方面的问题，结果表明，对于人工智能的重要性、语言模型对语言的理解、语言结构以及归纳偏差对于解决 NLP 问题的必要性等问题，调查结果分歧较大，同时发现社区对于基准的有用性和扩展能力以及解决实际问题的潜力的看法高估，而低估了语言结构、归纳偏差和跨学科科学的重要性。

    Aug, 2022