进行标记是费时且昂贵的，因此该研究引入了 XBRL 标记作为金融领域新的实体提取任务，并发布了 FiNER-139 数据集，其中包含 110 万句子和黄金 XBRL 标记。该研究表明，采用字母级别的词元分割会损害 BERT 的性能，而采用单词级别的 BILSTMs 的性能更佳。此外，该研究还提出了两种简单而有效的解决方案，以改善 BERT 的性能。最终，该研究通过数据和错误分析确定了潜在的限制，为未来的 XBRL 标记工作提供了启示。

Mar, 2022

我们通过使用大型语言模型（LLMs）的指导调优，研究了用 XBRL 标签自动注释在财务文件中出现的相关数值（GAAP 指标）的问题，提出了一种参数高效的解决方案（FLAN-FinXC），并在两个最近发布的财务数字标签数据集上取得了最新的最佳表现。

May, 2024

本研究使用 BERT 模型提取数字的上下文嵌入向量，并通过基于逻辑回归的模型对其进行分类，以便帮助投资者区分理赔和非理赔数字。通过对 FinNum-3 数据集的训练与实验证明，该工具在验证集上获得了宏 F1 分数为 0.8223，已在网站开源。

Jan, 2022

本文描述了一种多语言评估数据集 - NTX，该数据集涵盖了 14 种语言中的不同时间和数字表达式，覆盖了提取、规范化和解析，并提供了一种强大的基线对比其他模型在此数据集中的评估。

Mar, 2023

基于大型语言模型，通过使用常见的金融公式生成金融问题回答数据，FinLLMs 方法提供一种解决数据资源有限和注释成本高昂问题的方法。实验结果表明，由 FinLLMs 生成的合成数据有效地提升了金融领域几个大规模数值推理模型的性能，超过了两个常用基准金融问题回答数据集。

Jan, 2024

借助数量层次 Transformer 模型和不同类别的数字（货币、时间、百分比等），通过使用多模态对齐收益电话数据来预测股票回报和财务风险，NumHTML 在公开数据集上表现显著优于现有技术的基准，并在实际交易环境中提供大量财务收益的潜力。

Jan, 2022

我们提出了一种新颖的大型语言模型（NumLLM），用于改进金融领域的理解能力，该模型通过在构建的金融语料库上进行微调以适应数字变量，并在金融问答基准上取得了最佳性能表现。

May, 2024

本文讨论在法律领域中进行的极端多标签文本分类（XMTC）任务，并发布了一个新的数据集，其中包含 57k 份来自欧洲公共文档数据库 EURLEX 的立法文件，注释了来自多学科词库 EUROVOC 的概念。本文实验了几种神经分类器，表明采用 self-attention 的 BIGRUs 优于目前使用基于标签的注意力的多标签最先进方法。用 BIGRUs 替换 CNN 在基于标签的注意力网络中，从而获得了最佳的整体性能。

May, 2019

本文提出了 LaTeX-Numeric，用于从产品文本（例如产品描述）中提取电子商务数值属性的高精度全自动可扩展框架。该框架通过远程监督进行训练数据生成，摆脱了手动标签的依赖，并提出了一种多任务学习架构来处理训练数据中的缺失标签，从而提高了数值属性的 F1 值。同时，提出了自动技术以进一步改进数值属性提取模型，其中包括单位 / 别名列表的自动创建等方面的改进技术，最终证明这些改进是与语言无关的，并取得了良好的提取效果。

Apr, 2021

财务报告通过分析公司的运营情况提供重要见解，但通常长度过长，约 30 至 40 页，对于动态市场的快速决策提出了挑战。为解决这个问题，我们利用经过微调的大型语言模型（LLM）从用户提出的问题中提炼关键指标和运营指标。我们设计了一种定位关键数据的方法，并利用 FinQA 数据集对 Llama-2 7B 和 T5 模型进行微调，以进行定制化问答。在最终的数值回答上取得了与基准相当的结果，在数值推理和计算上具有竞争力的准确性。

Dec, 2023