AI技术平权下Quant研究价值重塑:从相关性预测到因果认知突围

发布时间:2026/10/31 12:14:32
AI技术平权下Quant研究价值重塑:从相关性预测到因果认知突围

AI技术平权正在重塑Quant研究价值,但方向不是让模型更复杂,而是从相关性预测走向因果认知突围。最近和几个做Quant的朋友聊天,大家共同的感受是:大模型、AI编程助手、开源量化平台把研究门槛彻底“踏平”了,以前需要三个工程师才能搭好的数据管道,现在一个人加AI辅助就能跑通。可门槛降低之后,大家反而更焦虑了——同质化的因子、拥挤的交易、过拟合的回测,Alpha衰减越来越快。这里不是讲某个神奇策略,而是想聊聊在AI平权之后,Quant研究员真正的护城河应该建在哪里。无论你是刚入行的量化小白,还是多年经验的老兵,只要还在跟数据、模型、收益打交道,这个话题都值得认真看看。

1. AI技术平权:Quant研究的“门槛塌缩”与同质化陷阱

1.1 从“军备竞赛”到“人人有模型”,平权到底带来了什么

真正让我感受到变化的,不是某个模型有多神,而是AI几乎把“从想法到回测”这条链路压缩到了一个下午。以前做一个多因子策略,要处理数据清洗、复权、截面标准化、回归、回测,每一环都可能卡几个星期。现在大模型可以直接生成Pandas处理代码,AI编程助手能帮你把回测框架补全,开源量化平台甚至内置了行情接口和风控模块,新手也能把策略部署到模拟盘。这种效率提升是实打实的,也是AI技术平权最直观的体现。

平权带来的变化本质上是“军备竞赛”转向“效率竞赛”。过去的核心竞争力是“我有的数据你没有、我的系统跑得快”,现在开源软件、免费数据源、云算力让这些差距迅速缩小。我见过不少个人研究者用AI辅助搭建出完整的因子研究流水线,效果不输小机构。这确实是好事,但也藏着一个容易被忽略的问题:大家用的工具越来越像,生产的策略也越来越像。因为AI大模型训练时吸收的公开代码和策略思路是高度重合的,你让它生成一个动量因子,它给出来的版本大概率和其他几百个研究员拿到的版本大同小异。

AI的普及让资源约束被大大缓解,但研究者的判断力没有跟上。以前一个研究员的价值有三成在写代码,七成在知道写什么代码;现在写代码可以交给AI,但“知道写什么”这个部分反而变得更稀缺。平权放大了执行层的能力,却没有自动放大认知层的深度。所以后面才需要谈因果认知的突围,因为工具平权之后,认知差距成了唯一还能拉开差距的地方。

1.2 Alpha衰减加速:为什么工具越强,钱越难赚

Alpha衰减是个老话题,但AI平权让它加速了。我自己早期做过一个基于短周期动量和成交量的策略,刚上线时IC稳定在0.03以上,半年后基本归零。不是代码有问题,而是类似逻辑被太多人用AI批量挖掘出来,市场把这段关系抹平了。工具平权让每个策略的“发现到拥挤”时间窗口越来越短,过去可能以年计,现在以月计。这很残酷,但符合规律:当所有人都拿着同一台“挖矿机”挖同一片矿区时,矿只会越挖越少。

更深层的问题在于,机器学习模型天生擅长抓相关性,而相关性在拥挤交易里衰减极快。举个例子:如果你让大模型列出100个可能影响收益的因子,它很快能生成一堆统计显著的组合,但这些组合很可能是把噪声当作信号。回测曲线越漂亮,越要警惕过拟合。AI平权让大家更容易找到“看起来像阿尔法”的东西,于是伪阿尔法泛滥。我见过不少团队把Transformer、图神经网络全都堆上,回测漂亮得像印钞机,一到样本外就变碎钞机,原因就是过度挖掘统计巧合。

这也是为什么我开始把重心从“预测相关性”转向“因果认知”。相关性回答的是“这两个变量是否同时变化”,因果回答的是“如果改变这个变量,结果会不会变”。在Quant里,只有后者能支撑可持续的策略逻辑。市场结构变化、交易成本、对手行为都会让单纯的相关性崩塌,而建立在真实机制上的因果假设,至少给你一个稳定的坐标系去应对变化。这就是突围的起点。

2. 从“预测相关性”到“因果认知”:Quant研究的下一个突破口

2.1 机器学习擅长预测,但Quant更需要理解机制

先举个直接的例子。我在某段时间发现,“隔夜外围市场大涨,A股高开”这个相关性几乎百发百中。但如果只把它当信号用,很容易忽略背后的机制:真正起作用的可能是风险偏好传递,也可能是外资流向。不同机制对应不同的持有周期和止盈止损,缺失因果理解,策略只能靠统计频次撑着,一旦机制变化就崩。这个例子说明,金融里的多数相关性都是“结果”,不是“原因”。

机器学习做的事情是条件概率拟合:给定一系列特征X,预测Y的期望。它不需要知道X和Y之间为什么有关系。在静态环境中这没问题,但金融市场是动态对抗系统,参与者在学习、监管在变化、制度在演化。一个纯统计模型可能把一个本不稳定的相关关系当作规律,然后在一个突变里回吐全部收益。Quant研究如果只追求预测精度,就像看后视镜开车,平权之后尤其危险,因为同样用后视镜的人太多了。

因果认知要解决的核心问题是“干预”和“反事实”。假设我们想知道某个因子是否真的能带来超额收益,需要问:如果过去五年这个因子被强制设为另一种取值,组合收益会怎么变?这正是机器学习回答不了的。你可以用树模型、神经网络逼近任何函数,但你无法从数据本身得知干预后的分布。所以,需要额外的假设和结构,而这恰好是Quant研究员的用武之地。未来的Alpha,更多来自对机制的理解,而不是对历史曲线的拟合。

2.2 因果推断的基础工具箱:从DAG到反事实

因果推断听上去很高深,核心其实是一张“原因地图”。DAG(有向无环图)就是画因果关系方向的地图:谁影响谁,谁可能是混淆因素。画图不是为了好看,而是逼你把隐含假设摊开。比如我想研究成交活跃度对收益的影响,就必须画清楚:信息冲击既影响成交活跃度又影响收益,如果不控制它,你会把“信息冲击”的效应误记成“成交量”的效应。很多人在量化研究里忽略这一步,上来就跑回归,最后得到的系数很可能只是某个更底层变量的影子。

另一个核心概念是“潜在结果”和“反事实”。用生活化的话说,一个病人吃了药好转,但我们想知道的是“如果不吃药,他是否也会好转”。现实世界我们只能观察到一种结果,因果推断就是通过设计或统计手段,尽量构造出一个“可比较的反事实组”。在金融里,最常见的手段是自然实验和准实验设计,比如政策发布前后的断点、指数成分调整的外生冲击。这类方法不需要你拥有全部数据,但需要你找到“原因变化”的场景。

具体工具箱包括:工具变量、双重差分、断点回归、合成控制,以及结构因果模型。这些方法都需要数据之外的专业判断。你不能只跑一个库就得到“原因”,但你可以用它来检验自己的因果假设是否在各种偏误面前依然稳健。很多Quant团队现在新招人时要求懂因果推断,这不是赶时髦,而是因为AI平权之后,相关性挖掘已经严重内卷,因果才是区分度所在。

3. 实操:把因果认知嵌入Quant研究流程的四个环节

3.1 用AI Agent搭建“假设生成—因果检验—回测验证”工作流

说点能落地的。我现在的日常流程已经改成四步:第一步,让AI大模型和Agent自动生成候选假设和对应的可测试方案;第二步,我手动为每个假设画DAG,标出处理变量、结果变量、混淆因子;第三步,用Python的因果推断库做估计和敏感性分析;第四步,在开源量化/EA平台(比如我常用的深算Quant这类开源EA平台)上做传统回测和样本外验证。AI在这里负责“多快好省”,人负责“因果结构”。这套流程的核心是让AI做发散,人做收敛。

AI Agent的任务不是直接给我一个因子。我会给它设计好的提示词,例如:“基于资金流向的短期反转假设,生成一个包含数据源、处理函数、回测规则的研究任务清单,并指出可能存在的混淆变量。” 它会把任务拆成子任务,我只需要审查逻辑。这比让它直接写一个策略安全得多,因为策略的因果方向必须由人确认,AI擅长的是补全细节。多AI协作在这里很有用:一个Agent负责写代码,一个Agent负责审查代码,一个Agent负责查文献,最后所有产出汇总到我这里。

因果检验代码其实不复杂。示意的Python代码:

import dowhy from dowhy import CausalModel model = CausalModel( data=stock_panel, treatment='turnover_rate', outcome='next_return', common_causes=['market_return', 'volatility', 'industry_dummy'] ) identified = model.identify_effect(method_name="backdoor") estimate = model.estimate_effect(identified, method_name="backdoor.linear_regression") print(estimate.value)

这只是第一步。真正关键的是DAG画没画对,以及敏感性分析。很多刚用DoWhy的同事会忽略这一步,直接看系数,结果换一个混淆因子集合,结论就翻车。我通常会在因果估计之后,再故意加入两个“不应该影响结果”的变量做对照,如果估计值剧烈变化,说明模型不稳定。

3.2 从回测到归因:用因果指标替代单纯收益指标

传统回测看年化收益、Sharpe、最大回撤,这当然重要,但同一个收益数字可能来自真实的因子暴露,也可能来自一段幸运的相对走势。我现在会在绩效报告里额外加一列“因果归因”,记录因子对收益的因果效应估计值、置信区间、安慰剂检验结果。如果一个策略的收益主要来自市场因子而不是研究因子的因果效应,那它本质上是在赌Beta,不是Alpha。这个区分在AI平权时代尤其关键,因为用AI可以很轻松地构造出高Sharpe的过拟合曲线,但因果归因能把它打回原形。

具体操作上,我会对每个因子做三步检验。第一步,分层回测:按因子值分成十组,看收益是否单调递增,而不是只有最高组和最低组有差异。第二步,安慰剂检验:把因子值在时序上随机打乱1000次,看真实回测收益处于随机分布的什么位置。如果真实收益排在95%分位之上,说明至少有统计信号。第三步,因果效应估计:用DID或断点回归估计因子暴露变化带来的收益变化,并观察在不同市场状态下的稳定性。三步都通过,我才会把因子放进候选池。

下面这个表格是我常用的报告体系:

维度传统回测因果增强回测
收益来源总收益、超额收益归因到Beta、因子因果效应、残差Alpha
稳健性样本外、滚动窗口安慰剂检验、DAG敏感性分析
置信度回测曲线置信区间、稳健性得分
业务含义策略赚不赚钱为什么赚、机制是否可解释

这个表格的价值在于:它把研究重心从“能不能赚”提升到“凭什么赚”。AI平权时代,回测大家都会做,但凭什么是你赚,这才是研究员要回答的问题。因果增强回测不是要替代传统绩效分析,而是在传统分析之上加一层“可解释性安全网”,防止你把运气当成能力。

4. 常见问题与排查技巧实录

4.1 AI生成策略代码的“埋雷”排查

AI生成的代码最大问题不是语法错误,而是看似正确却埋着逻辑雷。我自己至少踩过两次未来函数的坑。一次是大模型在生成“当日收益”时,不小心用到了次日数据;另一次是数据清洗时把复权因子算错了,导致回测收益虚高。解决办法只有一个:人工审查关键路径,设置“未来数据检查器”:在所有时间序列数据上统一打上日期索引,任何特征计算只允许使用t时刻及其之前的数据。我现在会把这段检查逻辑直接写成单元测试,每次AI改完代码就跑一遍。

另一个高发问题是幸存者偏差。AI从网上学到的示例代码经常默认数据里没有退市股票,直接用当前成分股构建回测。这在A股和美股都会严重夸大策略收益。我的排查习惯是:在数据加载后,先统计股票池在样本期间内新增数量和退市数量,如果样本池是静态的,必须补充退市股票列表,再跑回测。这一步AI不会替你思考,因为它不知道你的数据源。很多人觉得AI生成的代码专业,实际上它只是模仿了大多数网上教程的“玩具代码”。

还有一个容易被忽略的坑叫“标签泄漏”。如果训练集中包含了一些来自未来窗口的统计量,比如用全样本均值标准化特征,验证集效果会被虚高。我曾在AI Agent生成的预处理代码里看到它用整个数据集的均值填充缺失值,当时差点直接上实盘。现在我的流程是要求所有预处理必须拆分到训练集、验证集、测试集三份,任何涉及全局统计量的操作都要给出明确警告。把AI当结对程序员可以,但当背锅侠不行。

4.2 因果推断在金融数据上的三大坑

因果推断不是银弹,金融数据尤其容易翻车。第一大坑是弱工具变量。工具变量要求它和内生变量强相关,但只通过内生变量影响结果。市场数据里天然的准自然实验很少,很多“工具变量”本身就是另一条因果路径,工具变量强度一弱,估计结果会比OLS更偏。我的建议是先用第一阶段的F统计量做筛查,小于10的工具变量直接放弃。别以为跑出一个显著性很高的IV结果就万事大吉,弱工具变量下的显著性正是最危险的陷阱。

第二大坑是非平稳性。金融价格、波动率、宏观指标都存在结构性变化,同一个因果效应可能在牛熊市完全不同。单纯把历史数据混在一起估计出的“平均因果效应”意义有限。处理思路是分段估计,做结构断点检验,或者引入时间趋势与状态变量交互。我见过用十年数据跑DID,结果政策前后各五年根本没可比性,这就是没检查平稳性。金融数据的因果分析必须把“时间”当成第一维度,而不是简单的面板堆叠。

第三大坑是不可观测混淆因子。金融世界没有随机实验,总有一个你没放进模型的市场情绪或共同冲击在影响结果。DAG能帮你列出已知混淆,但未知混淆依然可能让你把相关性当成因果。对策是使用更稳健的设计,比如断点回归不依赖控制函数,或者做敏感性分析:看因果效应估计值需要多强的未被观测混淆才能被推翻,类似于E-value。我习惯在报告里加一列“鲁棒性阈值”,低于2的值我不会把它当成核心信号。下面这个速查表我贴在工作台旁边:

问题症状对策
弱工具变量第一阶段F统计量低换IV,或改用RDD/DID
非平稳性分段回归系数差异大结构断点检验,分段建模
未观测混淆安慰剂检验异常敏感性分析、DAG扩展、对照组设计

现在AI生成的因果分析越来越多,没有这套检查等于裸奔。AI可以把因果推断的代码跑得飞快,但数据质量、研究设计、可证伪性这些判断,依然要人亲自把关。

5. 重新定义Quant研究的价值:人是因果链条的“锚点”

5.1 人机协作:AI负责“多”,人负责“对”

AI技术平权最大的误解,是人要被AI替代。我的观点正好反过来:AI替代的是“生成和执行”,但因果判断必须由人来做。把Quant研究比作狩猎,AI是跑得飞快的猎犬,它可以同时追一百只兔子,但最终朝哪只开枪、为什么打这一只,需要猎人判断。听不懂因果的研究员,会在AI给出的无数个“显著因子”里迷失;而懂因果的研究员,能把AI变成一台假设筛选器。工具越强,认知的地基就要越稳。

实际操作中,我会让AI Agent批量生成候选因果图,然后逐一审查。AI可以基于历史文献和数据相关性提出“分红率可能通过投资者偏好影响估值”这类假设,但它无法区分这个假设是否符合当前市场的制度背景。人需要问三个问题:这个因果方向对吗?有没有反过来的可能性?什么事件能让我证伪它?这三个问题,AI目前给不出可靠答案。它也许多轮对话之后能“猜”出你想听的答案,但那不是判断。

因此,团队能力模型也在变。以前招量化研究员看重数学、编程、快速实现;现在除了这些,还要看“领域常识”和“因果思辨”。面试时我越来越喜欢问一道题:给你一个统计显著但不能解释机制的因子,你会上实盘吗?答案不是简单的会或不会,而是如何设计实验去验证因果机制。这个判断力,就是平权时代Quant研究的价值锚点。AI可以帮人省时间,但替代不了人对风险和价值的选择。

5.2 价值重塑:从“写代码的人”变成“定义问题的人”

如果你现在开始转型,我建议从三件事入手。第一,补因果推断基础。不需要成为计量大师,但至少要清楚DAG、DID、断点回归、工具变量分别用于什么场景。我建议用公开的数据集练手,把因果效应估计和假想的业务问题串起来。第二,建立自己的研究假设库。把每一个被你验证过因果方向的想法记录下来,包括失败案例,这会成为你区别于AI的重要资产。AI的知识是全网的平均值,你的假设库是经过实践检验的独特样本。

第三,把AI Agent变成你的研究实习生。让它负责数据获取、代码生成、报告初稿,你只负责下指令、审结论、做决策。开始可能比自己做还慢,但多迭代几轮,效率会有本质提升。我现在日常会用多个AI协作:一个负责写因子代码,一个负责审查代码,一个负责整理文献,我统一做因果校验最终拍板。这样的“多AI协作”模式下,个人的杠杆远大于单打独斗。有人担心AI会让初级研究员失业,实际恰好相反,懂得指挥AI的人会抢走不懂指挥AI的人的工作。

回到标题那句话,AI技术平权让Quant研究的门槛塌缩,但价值没有塌缩,只是从“技术能力”转移到了“认知能力”。谁能从海量相关中识别出真正可干预、可复现的因果机制,谁就能在这个拥挤市场里重新定义自己的价值。说了这么多,我在实际项目里最深的一个体会有时候反而是最简单的:在跑每一个回测之前,先写清楚“我到底在验证哪个因果假设,如果它不成立,我怎么证明”。这个习惯救了我很多次——别让AI替你想,你要想清楚后再让AI跑。这才是量化的长期主义。