本研究提出了一种简单而有效的策略,通过结合命名实体识别和词性标注,以及不同的信息组合方法,改进了预训练语言模型的性能,用于解决金融关系提取任务。对金融关系数据集的实验证明了其有希望的结果,并突出了结合命名实体识别和词性标注在现有模型中的优势。
May, 2024
使用 TACRED 及 SemEval 2010 Task 8 数据集,TRE 通过使用预先训练的深度语言表示模型以及自注意力深度学习模型,从文本语料库中自动学习隐式语言特征并显著提高样本效率,从而实现了关系提取任务的新的最优结果。
Jun, 2019
本文旨在满足金融领域中对预训练语言模型的需求,提出了一种基于大量金融通信语料库的金融领域特定 BERT 模型(FinBERT),在三个金融情感分类任务上的实验结果证明了 FinBERT 相比于一般领域的 BERT 模型具有优势。
Jun, 2020
在 ACM KDF-SIGIR 2023 竞赛中,我们对名为 REFind 的金融实体关系数据集进行了实体关系任务。我们采用了一个多步骤的方法,首先将提供的实体插入到相应的文本位置,然后利用带标签的训练集对基于 transformer 的语言模型 roberta-large 进行微调,以预测实体关系。最后,我们实施了后处理阶段,来识别和处理模型生成的不太可能的预测。由于我们的方法,我们在竞赛的公共排行榜上获得了第一名的排名。
Aug, 2023
本文提出 REFinD 数据集,该数据集为金融文档中的大规模关系注释数据集,可用于信息检索、语义搜索、问题回答和文本蕴含等任务,同时对各种最先进的深度学习模型进行实证评估并强调数据集带来的挑战。
May, 2023
本文使用了 ICL 框架下的 OpenAI 模型,采用两种检索策略在 REFinD 数据集中取得了较好的结果,获得了第 4 名的成绩,最佳 F1 分数为 0.718。
Jun, 2023
本文提出了一个新的金融实体关系抽取数据集 FinRED,并在此数据集上对各种最先进的关系抽取模型进行试验,结果显示当前的模型在金融领域的性能较差,需要更好的模型。
本文提出了一种名为 FinBERT 的基于 BERT 预训练语言模型,用于在金融领域处理自然语言处理任务,实验结果表明它在当前两个金融情感分析数据集上的表现优于现有的机器学习方法。
Aug, 2019
本文提出一种基于卷积编码器和改进的级联二进制标记框架的快速关系提取模型 (FastRE),通过采用多项创新来提高效率并保持优异的性能,实验结果表明 FastRE 在效率和性能之间取得了良好的平衡。
May, 2022
德国 FinBERT 是一种专门针对金融文本数据的新型预训练德语语言模型,通过综合的预训练过程进行训练,利用包括德国公司财务报告、临时公告和新闻在内的大量语料库。评估结果表明,在金融领域数据上,德国 FinBERT 在情绪预测、主题识别和问答等下游任务中表现出了改进的性能,表明其捕捉领域特定细微差别的效果,该研究认为德国 FinBERT 有望成为金融文本分析中有价值的工具,有潜在的应用于金融领域的多个应用场景。
Nov, 2023