我们提出并实现了一个利用预训练语言模型处理长文本文档的深度学习框架，将长文档分成块，并利用自注意力机制提取有价值的文档级特征，该框架在美国银行的 10-K 公开披露报告和其他美国公司提交的报告数据集上表现出色，是文本建模和回归模型的更好选择，利用预训练的领域特定和微调的模型在表示文本数据方面的效果较好，从而有助于提高预测分析的质量。

Jun, 2022

我们针对高度专业化的科学子领域中，传统方法不能很好地进行文本分类和矢量表示的问题，提出了使用共引作为相似度度量的专业数据集，并结合领域特定微调和专家混合的通用适应性方法，实现了在多个任务上具有高效性的通用 Transformer 网络，显著推进了科学文本分类指标的发展，并有望增强矢量数据库的搜索和编译。

Jan, 2024

长表是一种能够编码多达 4K 个标记的多模态文件 AI 模型，它在广泛的金融数据集上表现出超越现有公共模型的性能，同时在现有单页基准测试上保持可比较的结果。

Jan, 2024

本文介绍了一种多模态神经网络，结合了 OCR 提取的文本和图像信息，来对文献图像进行分类。该方法在 Tobacco3482 和 RVL-CDIP 数据集上的准确率提高了 3%。

Jul, 2019

通过少量标记数据进行音视频数据的深度学习模型训练是一种更经济的方式，本研究提出了一种统一的音视频少样本视频分类基准，通过跨模态注意力融合时空和音视觉特征，并为新类别生成多模态特征，最终获得了最先进的音视频少样本学习表现。

Sep, 2023

本文探讨在给定文本数据集中如何处理难以分类的样本对于下游文本分类任务的影响，并通过语义嵌入空间分析将难度样本定义为在文本分类中不明显的情况，通过提出惩罚函数来获得每个样本的难度得分，并在 13 个标准数据集上进行全面的实验，得出了最多 9％的一致性提升，并讨论了定量结果，以展示我们的方法在识别文本分类模型难度样本方面的有效性。

Feb, 2023

本研究使用三种模型，分别基于向量空间表示法，将法律案例文档表示为不同的向量空间，并结合语义词度量和自然语言处理技术，展示了在信息检索过程中引入领域特定语义相似性测量的必要性，表明整合多种技术可显著提高信息检索的准确性，同时还展示了词相似度测量分布变化及文档向量维度变化对法律信息检索过程的影响，从而为信息检索提供了更好的方案。

May, 2018

该论文开发了 MUFIN 技术，用于具有数百万标签的极端分类（XC）任务，其中数据点和标签具有视觉和文本描述。MUFIN 用于产品推荐和竞价查询预测。

Sep, 2023

本文提出了一种名为 FlexDM 的全新多模态学习模型，它能够有效地解决复杂的图形文档生成任务，并实现与成本高的基线相竞争的表现。

Mar, 2023

本研究旨在通过理解先进的文档分析技术，特别是多模态模型，在银行业务的操作效率提升和应对金融科技竞争方面的潜力。通过综合分析多样化的银行文件环境，我们展示了通过自动化和高级分析技术在客户业务中提高效率的机会。借助自然语言处理领域的快速发展，我们阐明了在银行业领域分析各种文件的 LayoutXLM 等模型潜力。该模型可对德国公司注册文件进行文本标记分类，整体 F1 得分约为 80%。我们的实证证据证实了布局信息在提高模型性能方面的关键作用，并进一步强调了整合图像信息的好处。有趣的是，我们的研究表明，仅使用 30% 的训练数据就可以达到超过 75% 的 F1 得分，证明了 LayoutXLM 的高效性。通过解决最先进的文档分析框架，我们的研究旨在提高流程效率，展示多模态模型在银行业务中的实际适用性和好处。

Jul, 2023