ACLFeb, 2024

通过早期融合和多语言模型增强 ESG 影响类型识别

PDF
TL;DR在环境、社会和公司治理（ESG）影响评估不断变化的格局中，该研究提出了识别 ESG 影响类型的 ML-ESG-2 共享任务，并呈现了一种利用集成学习技术的综合系统，利用早期和晚期融合方法。通过四个不同的模型（mBERT、FlauBERT-base、ALBERT-base-v2 和包含潜在语义分析（LSA）和词频逆文档频率（TF-IDF）特征的多层感知器（MLP）），通过广泛实验发现，我们的早期融合集成方法，包括 LSA、TF-IDF、mBERT、FlauBERT-base 和 ALBERT-base-v2 的集成，具有最佳性能。我们的系统为 ESG 影响类型的识别提供了全面的解决方案，为当今金融和公司治理环境中的负责任和可持续决策过程做出了贡献。
发现论文，激发创造
  • 利用 BERT 语言模型进行多语言 ESG 问题识别

    本研究利用 BERT 语言模型探索了多种策略，用于准确分类新闻文档至 35 个不同的 ESG 问题类别，结果显示 RoBERTa 分类器在英文测试数据集中位居第二，并在法语测试数据集中与其他模型并列第五，此外，我们针对中文设计的基于 SVM 的二元模型在测试数据集中展现了优异的性能，位居第二。

    Sep, 2023

  • 基于生成式大语言模型的 ESG 问题识别框架

    本文研究使用多种技术手段和模型，实现在英文和法语子任务中以高精度识别新闻文章中的 ESG 问题，并获得优异的表现。结果突显了应用先进的语言模型技术在获取跨语言 ESG 问题方面的潜力。

    Jun, 2023

  • 通过 GPT-4 隐性规则学习进行的 ESG 分类

    该研究探究了如何通过提示、思维链推理和动态上下文学习等策略，引导 GPT-4 等先进语言模型与未知的环境、社会和治理（ESG）评估准则保持一致，展示了语言模型在金融下游任务中的潜力和培训免费解决方案的机会。

    Mar, 2024

  • ESGBERT：一种用于帮助公司环境、社会和治理实践相关分类任务的语言模型

    本文研究了基于自然语言处理技术对 ESG 文本进行分类的方法，通过对 BERT 模型进行细调，建立了一个 ESG 领域专用的预训练模型，并在环境类别的分类任务中取得了优于原 BERT 模型和基准模型的准确率。

    Mar, 2022

  • 使用上下文句子分析模型识别 ESG 概念

    Trading Central Labs 和 La Rochelle 大学的 L3i 实验室在 ESG 领域上的合作中，基于预训练的 BERT 和 RoBERTa 模型，提出了对 Fortia ESG 分类体系的新条目和 ESG 相关句子的分类方法。该方法在两个子任务中均取得了显著的性能提升，并跻身最佳系统之一。

    Jul, 2022

  • 2024 年财经领域：基于 Transformer 模型的 Jetsons 结构对新闻文章的 ESG 影响理解

    通过 Fine-tuning XLM-RoBERTa 模型，本文描述了 Jetsons 团队在 Multi-Lingual ESG Impact Duration Inference（ML-ESG-3）共享任务中探索的不同方法，该任务专注于预测新闻文章的 ESG 影响的持续时间和类型。

    Mar, 2024

  • 金融年报特征提取的多任务学习

    通过使用多任务学习方法，结合不同任务上的信息，我们提出了多种金融文本分类方法，重点关注金融情绪、客观性、前瞻性句子预测和 ESG 内容检测。然后，我们使用这些分类器从 FTSE350 公司的年度报告中提取文本特征，并研究 ESG 定量分数与这些特征之间的关联。

    Apr, 2024

  • ESG 重点 DLT 研究的演变：文献的自然语言处理分析

    快速发展的分布式账本技术 (DLTs) 需要深入了解其各个组成部分，然而，目前尚缺乏一个着重于 DLT 的环境可持续性和治理 (ESG) 组成部分的系统文献综述。为弥补这一空白，我们选择了 107 篇种子论文，构建了一个由 63,083 个参考文献组成的引用网络，并将其精简为 24,539 篇出版物进行分析。然后，我们根据已建立的技术分类体系，用 12 个顶级类别对 46 篇论文中的命名实体进行了标记，并通过指出 DLT 的 ESG 元素来完善该分类体系。利用基于转换器的语言模型，我们对预训练语言模型进行微调，用于命名实体识别 (NER) 任务。我们使用微调后的语言模型从整个语料库中提炼出 505 篇关键论文，通过命名实体和时序图分析在 ESG 背景下的 DLT 演进进行文献综述。我们的贡献是一种用于在 DLT 领域进行机器学习驱动的系统文献综述的方法，在其中特别强调 ESG 方面。此外，我们还提供了一个专为 DLT 和 ESG 相关研究设计的首个命名实体识别数据集，其中包含 54,808 个命名实体。

    Aug, 2023

  • ESG-FTSE: 一份具有 ESG 相关标签和用例的新闻文章语料库

    我们创建了 ESG-FTSE 语料库，其中包含了带有 ESG 相关标注的新闻文章。我们开创了 ESG 标注方案，并进行了相关实验，证明该语料库可以用于准确的 ESG 预测。

    May, 2024

  • 通过大型语言模型从可持续性报告中推导结构化洞见

    近十年来，随着投资者对环境、社会和公司治理（ESG）问题日益关注，一些监管机构开始要求上市公司披露非财务信息。本文利用大型语言模型和信息提取技术，从非结构化的多模态文档中提取语义结构化信息，并采用基于图的表示方法进行相关分析，揭示不同行业间的突出可持续行动和公司、部门以及区域层面的相似性和披露模式，最终通过研究发现和其他公司信息，探讨影响公司 ESG 评分最显著的实际因素。

    Oct, 2023