Dec, 2022

CultureBERT：为企业文化微调基于 Transformer 的语言模型

PDF
TL;DR本研究将监督式机器学习应用于从文本文档中度量企业文化的文献中，通过对员工评论数据集的人工标注，细调基于转换器的语言模型进行分类预测，相比传统的文本分类方法，我们的语言模型可以将员工评论的 16 至 28 个百分点与人类评估者产生一致性，并将我们的模型公开发布。
supervised machine learningcorporate culturetext documentslanguage modelsemployee reviews
发现论文，激发创造
  • 使用未标记数据对基于 Transformer 的模型进行领域自适应，用于德语客户反馈的相关性和极性分类

    利用不同基于 Transformer 的模型探索分析德语顾客反馈数据集的效率，进一步分析预训练模型是否使用无标签数据适应特定领域会比现成模型获得更好的结果，实验结果表明，这些预训练模型取得了显著改进，超过了已发表的成绩和以前的模型。

    Dec, 2022

  • 探索和评估个性化代码生成模型

    本文探讨评估 Transformer 模型微调来进行个性化编码生成，考虑三种方法：（i）自定义微调，（ii）轻量级微调，（iii）前缀微调，比较它们的效果和成本效益。

    Aug, 2022

  • CultureLLM: 将文化差异融入大型语言模型

    提出了一种经济高效的解决方案 CultureLLM，利用 World Value Survey (WVS) 作为种子数据，通过提议的语义数据增强方法生成语义上等价的训练数据，然后使用这些数据对文化特定的 LLMS 进行微调，以及一个统一模型 (CultureLLM-One) 来覆盖 9 种文化。实验结果表明 CultureLLM 在各种文化相关数据集上的性能明显优于其他对比模型，例如 GPT-3.5（8.1%）和 Gemini Pro（9.5%），且与 GPT-4 相当甚至更好。人类研究结果显示生成的样本在语义上与原样本相等，为 LLMs 的增强提供了有效的解决方案。

    Feb, 2024

  • CRAFT: 从野外提取和调整文化指引

    本文介绍了一种从庞大的非结构化语料库中提取高质量文化相关调优数据集的新型流程。通过自我生成流程识别文化概念和触发指令，并与通用指令调优数据集相结合，我们的模型展示出了较强的识别和理解区域文化细微差别的能力，从而增强了其推理能力。我们在新加坡、菲律宾和美国三个地区开展了实验，取得了高达 6% 的性能改进。我们的研究为直接从非结构化数据中提取文化指令调优集开辟了新的途径，并为未来在该领域的创新设立了先例。

    May, 2024

  • 如何为文本分类微调 BERT?

    研究 BERT 语言模型在文本分类任务上的微调方法，提供一般的解决方案，并在 8 个广泛研究的文本分类数据集上取得了最新的最好结果。

    May, 2019

  • 从语言行为出发的人格检测：一个 Transformer 结合了心理语言学特征文字轮廓

    本文介绍基于语言使用进行人格预测的交叉性研究，报道了用于文本数据的最全面的心理语言学特征和混合模型的两个主要改进，实验结果表明，这些模型优于同一数据集上的现有工作，并通过对心理语言学特征的不同类别进行消融实验来量化其影响。

    Apr, 2022

  • 基于 LLM 的机器翻译中加入文化意识

    本研究着眼于如何将文化知识应用于大型语言模型的机器翻译中，提出了一种新的数据筛选方法来构建具有文化相关性的平行语料库，并设计了简单有效的提示策略以帮助大型语言模型实现机器翻译。经过广泛实验表明，这些方法可以大大帮助将文化知识融入到大型语言模型的机器翻译中，从而在翻译文化特定的句子方面优于传统的 NMT 系统。

    May, 2023

  • 提高自然语言处理变形金刚模型长期的分类可靠性

    本研究比较不同方法用于长期分类任务的 BERT 模型的微调，发现使用所有可用的未标记评论来微调模型是最佳解决方案，而仅关注模型之前未遇到的单词的评论并不可取，其中一个更有效的解决方案是从新时期的评论中随机抽样评论。

    Feb, 2023

  • 基于大型预训练语言模型的实用文本分类

    本文提出利用大规模无监督语言建模与微调相结合的方法来解决情感多维度分类问题，并在 SemEval2018 Task 1:E-c 上获得竞争力和实际应用价值，成果表明这种方法可以用于真实情感分类任务。

    Dec, 2018

  • 使用 ClimaText 微调 ClimateBert Transformer 进行气候相关金融风险披露分析

    本文运用最先进的 NLP 技术，对财务报告中的气候相关风险进行检测，通过调整 BERT 和 ClimateBert 两种 transformer 模型的 fine-tuning 过程，利用 Clima-Text 数据库，筛选出了 ClimateBert 在检测气候风险方面表现最佳，是投资者、机构代理人和公司监控财务报告中披露的气候风险的优秀工具。

    Mar, 2023