Mar, 2023

学习语义文本相似度来排列金融术语的上位词

PDF
TL;DR本文提出一种使用 FinBERT 和 FIBO 等金融文本语料库进行训练的系统，可提取和排名给定金融术语的超义词，通过使用负样本和基于 FIBO 的层次结构增强了训练集的新方法，并通过与现有系统的性能基准进行比较，证实它的表现更佳且可扩展。
financial servicesdigitalizationhypernymsfinbertfibo
发现论文，激发创造
  • 用术语扩展和 FinBERT 微调对金融术语的上下位词和同义词排序

    本文介绍了解决金融领域中上下位词和同义词匹配问题的系统，使用了各种基于 transformer 的预训练嵌入方法，并从不同数据源对所提供的数据集进行增强，其中表现最佳的模型结合了 FinBERT 和数据增强的方法，最终准确率达到 0.917，排名第 1.156。

    Jul, 2021

  • 使用增强术语和基于距离的特征进行金融上位词检测

    本文介绍了 DICoE 团队在 FinSim-3 上的表现，采用金融本体学科分类术语，采用逻辑回归分类器、词嵌入和多种手工特征，生成从金融文本中提取的词表示，最佳排名为排名第四。

    Sep, 2021

  • Yseop 在 FinSim-3 Shared Task 2021 中：使用短语表示来专门学习金融领域

    本文介绍了我们在 2021 年 FinSim-3 共享任务中针对金融领域语义相似度学习的方法。我们提出了两种方法：在自定义语料库上预训练的 SRoBERTa 和结合 FastText 模型改善基线词嵌入方法的双重词 - 句嵌入模型。在平均准确度和平均排名两方面我们的系统均获得第二名，分别得分为 0.917 和 1.141。

    Aug, 2021

  • 词汇语义增强的神经词向量

    通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

    Oct, 2022

  • 专利文本中用于上下位词检索的技术分类

    本文提出了一种基于专利合作分类（CPC）的技术术语分类自动化方法，生成的分类包含 9 个独立技术分支中的约 170k 个节点，并且使用 Text-to-Text Transfer Transformer (T5) 模型 fine-tune 生成上下位词并得到相对较高的准确性，从而证明了此资源的质量。T5 模型可以打开新的技术术语的分类（根据上下位关系），因此这个资源可以更新，是技术术语领域不断发展的必要特性。

    Nov, 2022

  • 银行业的词嵌入

    本文研究了使用银行特定语料库构建的词嵌入，相对于使用文本语料库构建的 Word2Vec 或 BERT 嵌入，银行特定语料库的嵌入在银行特定语义和词相关性的捕捉方面表现更好，因此可能成为银行业特定 NLP 任务的一种有效数据源。

    Jun, 2023

  • 在金融领域中以最小行业专业知识预测角色相关度

    本文探讨了基于词嵌入的体系结构在预测自然语言句子中两个财务实体之间的关联角色方面的应用，使用 skip-gram word2vec 体系结构训练词嵌入，并用机器学习分类器进行测试数据上的上下文角色相关性预测。

    Apr, 2017

  • 用于计算语义相似度的分类和神经嵌入方法的评估

    本论文探讨了计算语义相似度的不同方法，比较了分类和分布式语义相似度的不同特点，提出了类别相似度建模的三种加权因素，发现在不同词频、多义性和相似度强度范围内存在语义相似度计算巨大差距。

    Sep, 2022

  • Word2Vec 和词典在领域特定语义相似度方面的协同联合

    本研究引入了一个领域特定的语义相似度方法，该方法是由 word2vec 和基于词典的语义相似度方法的协同联盟所创建的，并证明了该方法优于通用语料库和域特定语料库训练的词嵌入方法，还证明了词形归并可以提高词嵌入方法的性能。

    Jun, 2017

  • 超越表面相似性：检测金融叙述中微妙的语义转变

    介绍了金融领域特定的 NLP 任务 —— 金融语义相似性（Financial-STS）任务，该任务的目的是评估金融报告对比中的细微语义差异，以帮助金融决策，发现现有的预训练嵌入模型和 LLM 嵌入不足以区分这些细微的金融故事变化，因此提出了一种 LLM 增强的针对金融 - STS 任务的流程，通过在人工标注数据集上进行评估，证明我们的方法胜过在经典 STS 任务和通用 LLM 嵌入上训练的现有方法。

    Mar, 2024