Sep, 2023

利用 BERT 语言模型进行多语言 ESG 问题识别

PDF
TL;DR本研究利用 BERT 语言模型探索了多种策略，用于准确分类新闻文档至 35 个不同的 ESG 问题类别，结果显示 RoBERTa 分类器在英文测试数据集中位居第二，并在法语测试数据集中与其他模型并列第五，此外，我们针对中文设计的基于 SVM 的二元模型在测试数据集中展现了优异的性能，位居第二。
environmental, social, and governanceesgml-esgbert language modelsroberta classifier
发现论文，激发创造
  • 基于生成式大语言模型的 ESG 问题识别框架

    本文研究使用多种技术手段和模型，实现在英文和法语子任务中以高精度识别新闻文章中的 ESG 问题，并获得优异的表现。结果突显了应用先进的语言模型技术在获取跨语言 ESG 问题方面的潜力。

    Jun, 2023

  • ESGBERT：一种用于帮助公司环境、社会和治理实践相关分类任务的语言模型

    本文研究了基于自然语言处理技术对 ESG 文本进行分类的方法，通过对 BERT 模型进行细调，建立了一个 ESG 领域专用的预训练模型，并在环境类别的分类任务中取得了优于原 BERT 模型和基准模型的准确率。

    Mar, 2022

  • 通过早期融合和多语言模型增强 ESG 影响类型识别

    在环境、社会和公司治理（ESG）影响评估不断变化的格局中，该研究提出了识别 ESG 影响类型的 ML-ESG-2 共享任务，并呈现了一种利用集成学习技术的综合系统，利用早期和晚期融合方法。通过四个不同的模型（mBERT、FlauBERT-base、ALBERT-base-v2 和包含潜在语义分析（LSA）和词频逆文档频率（TF-IDF）特征的多层感知器（MLP）），通过广泛实验发现，我们的早期融合集成方法，包括 LSA、TF-IDF、mBERT、FlauBERT-base 和 ALBERT-base-v2 的集成，具有最佳性能。我们的系统为 ESG 影响类型的识别提供了全面的解决方案，为当今金融和公司治理环境中的负责任和可持续决策过程做出了贡献。

    Feb, 2024

  • 通过 GPT-4 隐性规则学习进行的 ESG 分类

    该研究探究了如何通过提示、思维链推理和动态上下文学习等策略，引导 GPT-4 等先进语言模型与未知的环境、社会和治理（ESG）评估准则保持一致，展示了语言模型在金融下游任务中的潜力和培训免费解决方案的机会。

    Mar, 2024

  • 使用上下文句子分析模型识别 ESG 概念

    Trading Central Labs 和 La Rochelle 大学的 L3i 实验室在 ESG 领域上的合作中，基于预训练的 BERT 和 RoBERTa 模型，提出了对 Fortia ESG 分类体系的新条目和 ESG 相关句子的分类方法。该方法在两个子任务中均取得了显著的性能提升，并跻身最佳系统之一。

    Jul, 2022

  • ESG 情绪分析：人工与语言模型性能比较，包括 GPT

    本研究通过比较人工与机器在 ESG 相关情感测量方面的表现，选取 150 条推特进行情感分类，并建立一个基准数据集用于评估不同机器方法（包括字典方法和多种语言模型方法）的性能。

    Feb, 2024

  • 2024 年财经领域：基于 Transformer 模型的 Jetsons 结构对新闻文章的 ESG 影响理解

    通过 Fine-tuning XLM-RoBERTa 模型，本文描述了 Jetsons 团队在 Multi-Lingual ESG Impact Duration Inference（ML-ESG-3）共享任务中探索的不同方法，该任务专注于预测新闻文章的 ESG 影响的持续时间和类型。

    Mar, 2024

  • 减轻 BERT 中的语言依赖性民族偏见

    本文旨在研究 BERT 等大型语言模型中的偏见问题，特别是种族偏见问题的度量和消除方法，使用了 “Categorical Bias score” 度量方法和两种消除方法，包括多语言模型和两个单语言模型的上下文词对齐方法，并对英语，德语，西班牙语，韩语，土耳其语和中文等多种语言进行验证和比较。结果表明，这些方法可以有效减轻种族偏见问题，但效果取决于该语言的 NLP 资源量。同时，本论文还验证了这些方法适用于更多种语言，如阿拉伯语和希腊语。

    Sep, 2021

  • 金融年报特征提取的多任务学习

    通过使用多任务学习方法，结合不同任务上的信息，我们提出了多种金融文本分类方法，重点关注金融情绪、客观性、前瞻性句子预测和 ESG 内容检测。然后，我们使用这些分类器从 FTSE350 公司的年度报告中提取文本特征，并研究 ESG 定量分数与这些特征之间的关联。

    Apr, 2024

  • ESG 重点 DLT 研究的演变：文献的自然语言处理分析

    快速发展的分布式账本技术 (DLTs) 需要深入了解其各个组成部分，然而，目前尚缺乏一个着重于 DLT 的环境可持续性和治理 (ESG) 组成部分的系统文献综述。为弥补这一空白，我们选择了 107 篇种子论文，构建了一个由 63,083 个参考文献组成的引用网络，并将其精简为 24,539 篇出版物进行分析。然后，我们根据已建立的技术分类体系，用 12 个顶级类别对 46 篇论文中的命名实体进行了标记，并通过指出 DLT 的 ESG 元素来完善该分类体系。利用基于转换器的语言模型，我们对预训练语言模型进行微调，用于命名实体识别 (NER) 任务。我们使用微调后的语言模型从整个语料库中提炼出 505 篇关键论文，通过命名实体和时序图分析在 ESG 背景下的 DLT 演进进行文献综述。我们的贡献是一种用于在 DLT 领域进行机器学习驱动的系统文献综述的方法，在其中特别强调 ESG 方面。此外，我们还提供了一个专为 DLT 和 ESG 相关研究设计的首个命名实体识别数据集，其中包含 54,808 个命名实体。

    Aug, 2023