Jun, 2022

FETILDA：长篇财经文本嵌入的有效调优框架

PDF
TL;DR我们提出并实现了一个利用预训练语言模型处理长文本文档的深度学习框架，将长文档分成块，并利用自注意力机制提取有价值的文档级特征，该框架在美国银行的 10-K 公开披露报告和其他美国公司提交的报告数据集上表现出色，是文本建模和回归模型的更好选择，利用预训练的领域特定和微调的模型在表示文本数据方面的效果较好，从而有助于提高预测分析的质量。
unstructured datafinancial spherepre-trained language modelsdocument-level featurespredictive analyses
发现论文，激发创造
  • LongFin：面向长金融领域文档的多模态文档理解模型

    长表是一种能够编码多达 4K 个标记的多模态文件 AI 模型，它在广泛的金融数据集上表现出超越现有公共模型的性能，同时在现有单页基准测试上保持可比较的结果。

    Jan, 2024

  • 重要信息检索以分类偏好贸易协定的非结构化数据内容

    通过嵌入技术减少冗余信息并使用 BERT 进行文本分类，有效提高了长文本的分类性能，同时大大降低了计算复杂度。这一研究为自然语言处理领域的研究人员和工程师提供了有价值的参考。

    Jan, 2024

  • 金融情绪分析的预训练大型语言模型

    金融情感分析是将金融文本内容分类为情感类别（如积极、消极和中性）。本文聚焦于金融新闻标题的分类，通过利用预训练的大型语言模型以及监督微调技术，实现在少量训练样本情况下显著超越之前最先进的算法。

    Jan, 2024

  • 利用 LLMs 从混合长文档中检索 KPI 的综合框架与数据集

    本文提出了一个基于自动化金融信息提取框架的研究，该框架可以提高大型语言模型在理解和提取来自复杂的混合文本数据类型，特别是金融报告中的信息，尤其是数字提取方面的准确性。与一个简单的方法相比，我们在 GPT-3.5 和 GPT-4 上进行了评估和实验证明了该框架的实际效果提升，平均准确性分别提升了 53.94% 和 33.77%。

    May, 2023

  • FinBERT：金融通信预训练语言模型

    本文旨在满足金融领域中对预训练语言模型的需求，提出了一种基于大量金融通信语料库的金融领域特定 BERT 模型（FinBERT），在三个金融情感分类任务上的实验结果证明了 FinBERT 相比于一般领域的 BERT 模型具有优势。

    Jun, 2020

  • 基于预训练句子嵌入的长文档分类的注意力机制

    通过利用预训练的句子 transformers 对语义有意义的嵌入进行组合，结合文档长度线性扩展的小的注意力层，我们得到了与当前最先进模型竞争力的结果，特别是在冻结底层 transformers 的情况下，有助于避免完全微调。通过两个额外的实验进一步评估所研究的架构在比较简单的基线上的相关性。

    Jul, 2023

  • 利用潜在狄利克雷分配进行金融新闻中有关信息、预测和预测的自动检测

    通过组合多段主题分割和共指消解分离作者表达模式、使用 LDA 检测相关文本以及分析其中的预测和预言的话语暂时性，我们提出了一个新颖的自然语言处理系统，以在非结构化文本来源中帮助投资者检测相关的金融事件。

    Mar, 2024

  • 使用预训练变形器处理长法律文件：修改 LegalBERT 和 Longformer

    本研究探讨了两个方向来处理长篇的法律文本：一是修改从 LegalBERT 启动的 Longformer 以处理更长的文本，二是修改 LegalBERT 以使用 TF-IDF 表示。结果发现，第一个方法表现最佳，在 LexGLUE 中胜过 LegalBERT 的分层版本；第二个方法计算效率更高，而且仍然优于 TF-IDF 特征的线性 SVM。

    Nov, 2022

  • FinBERT：使用预训练语言模型进行金融情感分析

    本文提出了一种名为 FinBERT 的基于 BERT 预训练语言模型，用于在金融领域处理自然语言处理任务，实验结果表明它在当前两个金融情感分析数据集上的表现优于现有的机器学习方法。

    Aug, 2019

  • 金融情感分析的大规模语言模型适应

    该研究针对金融领域进行了大规模语言模型（LLM）的适应性研究，并着重研究了金融情感分析，发现通过精细调整基础模型并结合金融文档和指令数据集，小型 LLM 在性能上与大型模型可媲美，而且在参数和数据方面更高效。此外，研究还展示了如何通过 LLM 生成人工指令以增加指令数据集的样本数量。

    Jan, 2024