Fin-R1:一款基于Qwen2.5的金融推理型大语言模型

AI快讯 2025-04-03 09:23更新网络

Fin-R1是什么?

Fin-R1 是一款由上海财经大学统计与数据科学学院张立文教授团队(SUFE-aiFLM-Lab)联合财跃星辰开发的金融领域推理型大语言模型,Fin-R1模型以 Qwen2.5-7B-Instruct 为基座,利用 DeepSeek-R1 框架进行“数据蒸馏”与“双轮质量筛选”,通过高质量思维链数据的监督微调+ 强化学习,有效解决了金融领域中数据碎片化、推理逻辑不可控和业务泛化能力不足等问题,为金融行业的智能化转型提供了有力支持。

Fin-R1:一款专为金融领域设计的推理型大语言模型.webp

模型架构

Fin-R1 采用两阶段架构进行训练:

数据生成阶段:通过数据蒸馏和筛选方法,从多个权威数据源构建高质量的金融推理数据集 Fin-R1-Data。

模型训练阶段:基于 Qwen2.5-7B-Instruct 模型,通过监督微调(SFT)和强化学习(RL)进行训练。

Fin-R1数据集特点

规模与质量:Fin-R1-Data 包含约 60,091 条完整的思考链(CoT),涵盖中英文金融垂直领域的多维度专业知识。

模块化设计:数据集分为金融代码、金融专业知识、金融非推理类业务知识和金融推理类业务知识四大模块。

Fin-R1核心特点

专业领域:专注于金融推理,涵盖金融代码、专业知识、业务知识等多个维度。

数据驱动:基于高质量的金融推理数据集 Fin-R1-Data 进行训练,包含约 60,091 条完整的思考链。

训练方式:采用监督微调(SFT)和强化学习(RL)相结合的方式,确保模型在金融推理任务中的准确性和可靠性。

轻量化设计:参数量仅为 7 亿,但性能表现出色。

Fin-R1:一款专为金融领域设计的推理型大语言模型.webp

性能表现

权威评测:在金融领域权威评测中,平均得分 75.2 分,位居第二。

任务表现:在 FinQA 和 ConvFinQA 任务中分别获得 76.0 分和 85.0 分,位居参评模型第一。

泛化能力:在其他金融基准测试中也展现出强大的跨任务泛化能力。

Fin-R1应用

金融代码:用于实现金融模型、算法和分析任务的编程代码。

金融计算:进行定量分析和计算,为金融决策提供依据。

金融安全合规:防范金融犯罪,确保业务操作符合法规要求。

智能风控:利用 AI 和大数据技术识别和管理金融风险。

ESG 分析:评估企业在环境、社会和治理方面的表现。

Fin-R1使用步骤

下载模型:通过 Hugging Face 页面下载模型权重。

启动服务:使用 vllm 工具启动模型服务。

推理运行:通过 OpenAI API 格式调用模型进行推理。

Fin-R1相关链接

模型下载:https://huggingface.co/SUFE-AIFLM-Lab/Fin-R1

论文:https://arxiv.org/pdf/2503.16252

相关文章