华尔街顶级阵容联手：金融大模型，到底该怎么考？

2026年9月28日，LinqAlpha、UNIST及具有贝莱德、摩根大通、富达、黑石等机构背景的研究者提交了 FinAutoRubric，一套为金融研究AI自动编写评分细则的系统。10月1日，QuantML用“华尔街顶级阵容联手”介绍这项工作。作者单位不等于机构联合采用，但这项研究提出的问题确实重要：当AI开始独立写研究报告，谁来制定和维护它的评分标准？原始论文；触发报道

这个问题有一条更长的来路。从2021年的财报数值推理，到2023年的金融知识考试，再到近两年的研究Agent评测，考卷一直随AI承担的工作而变化。金融大模型评测的重心，正在从检查单项能力，扩大到检验完整研究交付；交付越开放，评分标准本身就越需要被验证。 FinAutoRubric是这条演化中的一个新节点。

最早的分水岭：懂金融术语，与读懂一张财报是两回事

金融AI最先遇到的困难，是专业语言和数字混在一起。

2021年的 FinQA 由金融专家编写财报问答，并标注得出答案的计算程序；同年的 TAT-QA 则要求模型跨表格与正文寻找依据，完成算术和比较。这些工作早于本轮生成式大模型热潮，后来成为检验金融推理的重要题源。FinQA；TAT-QA

语言流畅与计算正确是两回事。这些评测将专业口径和可解释的计算过程纳入考察，超出了情感分类、实体抽取等传统文本任务。

2023年，大模型热潮又带来一类更容易比较的考卷：金融知识考试。上海财经大学团队发布的初版 FinEval，包含4,661道选择题，覆盖34个科目，用统一答案检验金融、经济、会计及资格考试知识。这为比较模型的专业基础提供了清晰入口。FinEval初版

但知识考试与财报推理回答的是不同问题。模型知道现金流量表如何编制，并不保证它能在陌生年报里找齐现金流调整项。

• 2024年的中文评测 CFLUE 将知识与应用分开，既考选择题，也考分类、阅读理解和生成；
• FinEval随后也扩展了行业、安全与智能体任务。

中文金融评测同样在摆脱“专业能力就是考试成绩”的单一刻画。CFLUE；上财2024年更新

这里没有整齐的代际替换：数值推理题比大模型知识考试出现得更早，两条路线随后并行发展。它们共同留下一个边界——会答给定材料中的问题，还没有证明能自己找到正确材料。

从闭卷到开卷，分数开始属于整套系统

当AI接入企业文档库，新的失败常常发生在作答之前：它没有找到那份公告，或者找到了错误年份的表格。

2023年11月发布的 FinanceBench，为上市公司问题配套答案与证据，比较带检索系统、长上下文等不同配置。它把一个朴素要求推到台前：允许查资料之后，系统能否依据资料可靠作答？FinanceBench

评测对象由此扩大。同一个模型，搭配不同的文档解析、检索和上下文组织方式，会得到不同结果。最终正确率衡量共同结果，却未必能定位错误环节。

Balyasny在2024年的论文中给出了具体例子：在生成模型不变的比较里，把检索所用的嵌入模型换成自研版本，150道 FinanceBench 问题的人工评估成绩从47%升至55%。变化来自检索组件，这8个百分点不能归到生成模型本身的金融能力上。Balyasny论文

摩根士丹利的实践也指向同一问题。其AI负责人 Kaitlin Elliott 在2025年的访谈中介绍，团队建立了500题回归测试集，用于检查搜索规则与提示修改；日常抽样还会核对答案和检索文章，过时文章有时暴露的是日期过滤器失效。这是应用维护的第一人称经验，说明评测已进入系统日常运行。访谈

同一时期，评测的业务覆盖也在拓宽。2024年的 FinBen 将信息抽取、问答、生成、风险、预测和决策等任务放进同一框架。它提醒人们：模型擅长抽取事实，不代表擅长预测；一种“金融总分”很容易把不同能力和失败原因压在一起。FinBen

因此，开卷之后需要同时问两个问题：最后是否答对，系统靠什么答对。前者衡量交付，后者决定下一步该改善模型、数据还是工具。

当AI开始做研究，单个正确答案容不下一份报告

研究Agent进一步改变了考试单位。

它需要自己拆解问题、搜索资料、调用工具、计算并整合结论，评测也随之从一段回答扩展到一项工作的交付。

2025年的 Finance Agent Benchmark 用537道专家编写的问题覆盖信息检索到复杂财务建模，并提供搜索与监管申报数据库工具。其开发者还记录时延、工具使用和成本：同样答对一道题，用几次调用、花多长时间，也是判断系统是否实用的一部分。论文；开发者方法说明

2026年8月，Samaya团队的 FrontierFinance 将范围扩展到完整投资研究流程，以220个专家问题和带来源的细项评分标准考察研究系统。它还比较工具运行环境对质量与效率的影响。这让“某模型金融能力更强”的说法必须附带条件：用了什么数据、什么工具，以及怎样的研究流程？FrontierFinance

难度变化更深的一层，是好研究可能有多种合理路径。计算历史毛利率，通常可以规定答案；分析竞争优势、寻找投资机会，则允许不同的比较对象、假设和论证。拿某篇参考报告当唯一标准，可能惩罚合理的新观点；让模型凭整体印象打分，又可能把篇幅、文风和专业词汇当成质量。

这就是细项评分表的重要性。它可以分别检查：关键事实是否准确，计算能否复现，重要风险有没有遗漏，结论是否由证据支持。它把可核查的事实底线与允许分歧的判断空间拆开，让两份立场不同的报告仍有可能同时合格。

但工作并未因此结束。题目越开放，制定这些标准就越像再做一遍研究。新财报发布后，参考值需要更新；业务问题变化后，重要性和权重也要重订。评测的瓶颈开始从“有没有足够难的题”，延伸到“能不能持续维护足够好的判卷依据”。

FinAutoRubric怎样把专家要求变成一张评分表

研究报告越来越开放，FinAutoRubric尝试接手的是专家逐题制作判卷依据的工作。

它的交付物是一张评分表，里面既有检查项，也有本题应答出的事实、数值和依据。 专家先规定通用要求，系统再针对具体问题查资料、计算并复核，最后把这些结果写成评分细则。方法

用一个假设例子理解：题目是“截至某日，A公司的盈利能力有没有改善？”专家规定采用统一财务口径，只使用截止日前公开的资料。系统查到营收100亿元、营业成本60亿元，便算出毛利率40%，再查上一期数据，形成具体检查项：是否算出40%？是否正确比较两期变化？解释是否有证据？另一组Agent复核来源和计算后，这张表才用于评判研究AI的报告。上述数字仅为解释流程的假设，不是论文实验数据。

关键在于，这张表在看到被评报告之前就独立编写。如果报告只写几句正确的行业常识，却避开关键计算，评分表仍能识别遗漏。专家的通用原则可以复用，换公司、换日期后需要重查的具体答案，则由系统重新研究。

在研究题集 BigFinanceBench 的50道公开题上，FinAutoRubric的带预期值评分项覆盖率为60.8%，最高基线为32.5%。这支持它补出了更多具体判卷依据；覆盖率并不是被评AI的答题正确率，也不能据此认定所有判分都更准、总成本更低。实验

它并非从零发明自动评分。

• 2024年的 TICK 已能自动拆出任务检查项，2025年的 EvalAgent 会从网上专家指导中提取标准；
• 到2026年，研究开始从不同环节检验考官的可靠性：TICK；
• EvalAgent

其中，FinResearchBench II在全量候选中只有25.52%的评分项通过一致性过滤，再经区分度过滤，最终保留17.99%。稳定判卷可以通过严格筛选获得，也会付出覆盖范围的代价。验证与筛选

这些路线验证的环节不同：参考值更完整、执行更稳定、判断更接近专家，不能互相替代，也还不能组成同口径的胜负榜。JADE；FinResearchBench II

演化的方向，是让每一层分数都有明确含义

把这段历史连起来，可以看到评测在三个维度上扩大：题目增加了开放研究，考生包含带数据和工具的系统，考官也需要验证可更新的评分流程。

这是代表性研究呈现出的变化，不意味着所有金融任务都已沿同一路线升级。

由此看，金融机构更有用的做法，是保留分层评测。

• 知识与数值题适合定位基础缺陷；
• 固定文档上的问答适合检查解析和检索；
• 完整研究任务适合衡量交付、耗时与成本；
• 内部失败案例则用于持续回归。

这些层次共同解释“为什么这次工作完成得更好”，避免一个总分承担过多含义。

金融还让两类边界尤其难处理。一类是时间：评估历史时点的研究，必须依据当时可得资料，不能用后来公布的实际数倒判当时应当知道什么。另一类是业务目标：股票投资者、债权人和合规人员可以面对同一家企业，却关心不同风险。事实底线可以共享，重要性排序未必相同。这里讨论的是评测设计应处理的问题，不能由一套公开题库替所有机构预先作答。

研究交付与投资结果也要分别验证。一份证据充分的报告可能因后续事件而判断失准，一次盈利也可能掩盖错误过程。因此，研究评测分数上升，不能直接推出投资回报改善；后者仍需要独立的时间检验和业务验证。

“华尔街联手”提供了一个醒目的入口，更值得追踪的变化发生在入口之后：AI承担越完整的工作，评测就越需要把材料、工具、时点与专业标准一起纳入。模型能交出像样的报告之后，评测还要判断这份研究能否经得起查证和追问。