本文提出一种使用 FinBERT 和 FIBO 等金融文本语料库进行训练的系统，可提取和排名给定金融术语的超义词，通过使用负样本和基于 FIBO 的层次结构增强了训练集的新方法，并通过与现有系统的性能基准进行比较，证实它的表现更佳且可扩展。

Mar, 2023

本文介绍了我们在 2021 年 FinSim-3 共享任务中针对金融领域语义相似度学习的方法。我们提出了两种方法：在自定义语料库上预训练的 SRoBERTa 和结合 FastText 模型改善基线词嵌入方法的双重词 - 句嵌入模型。在平均准确度和平均排名两方面我们的系统均获得第二名，分别得分为 0.917 和 1.141。

Aug, 2021

本文介绍了 DICoE 团队在 FinSim-3 上的表现，采用金融本体学科分类术语，采用逻辑回归分类器、词嵌入和多种手工特征，生成从金融文本中提取的词表示，最佳排名为排名第四。

Sep, 2021

本文提出了一种名为 FinBERT 的基于 BERT 预训练语言模型，用于在金融领域处理自然语言处理任务，实验结果表明它在当前两个金融情感分析数据集上的表现优于现有的机器学习方法。

Aug, 2019

应用语言模型结构代替任务特定的监督并使用卷积图编码器通过显式引入语义解析提高 NLU 任务的性能。

Dec, 2020

本文旨在满足金融领域中对预训练语言模型的需求，提出了一种基于大量金融通信语料库的金融领域特定 BERT 模型（FinBERT），在三个金融情感分类任务上的实验结果证明了 FinBERT 相比于一般领域的 BERT 模型具有优势。

Jun, 2020

通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

Oct, 2022

德国 FinBERT 是一种专门针对金融文本数据的新型预训练德语语言模型，通过综合的预训练过程进行训练，利用包括德国公司财务报告、临时公告和新闻在内的大量语料库。评估结果表明，在金融领域数据上，德国 FinBERT 在情绪预测、主题识别和问答等下游任务中表现出了改进的性能，表明其捕捉领域特定细微差别的效果，该研究认为德国 FinBERT 有望成为金融文本分析中有价值的工具，有潜在的应用于金融领域的多个应用场景。

Nov, 2023

本文提出了一种对 BERT 进行微调的方法（Phrase-BERT），使其能够生成更强大的短语嵌入，Phrase-BERT 利用一个由短语描述形式多样的同义词集以及从 Books3 语料库中挖掘的大规模情境短语数据集生成模型，并在各种短语级相似性任务中优于基线。 此外，该文还将 Phrase-BERT 嵌入式与简单的自编码器相结合，构建了一种利用向量空间中最近邻搜索将主题解释为词和短语混合的短语主题模型。 众包评估表明，该短语主题模型比基线的单词和短语级主题模型产生更一致和有意义的主题，进一步验证了 Phrase-BERT 的效用。

Sep, 2021

研究发现，预训练的转换语言模型在很多 NLP 任务上表现出色；然而，这些模型在短语级别的表示中，除了词汇内容外，缺乏复杂的组合短语信息，进一步的 fine-tuning 只能在情感任务中局部提高性能，而在重新释义任务中则由于数据集中可能存在干扰信号的原因而不能提供改进。

May, 2021