因果结构模型简论
为什么概率论不足以回答因果问题?本文以 Judea Pearl 的因果推断阶梯为线索,依次展开因果图、结构因果模型与结构方程这三层层层递进的形式化工具,进而讨论因果发现、中介分析、do-演算与前门准则,并对照潜在结果框架与传统结构方程模型,梳理这一体系成立所依赖的假设与适用边界。
为什么概率论不足以回答因果问题?设 为两个随机变量,概率论所能给出的全部工具是联合分布 、条件分布 ,以及由此导出的独立性关系 。这套语言在数学上是自洽的,但存在一个根本性的表达力缺陷:概率分布对「对称性」是不敏感的。若已知 ,则 与 皆可通过贝叶斯定理相互推出,二者在信息量上完全等价,谁也不比谁更「根本」。然而在实际世界中,「气压下降导致下雨」与「下雨导致气压下降」显然不是对称的两种表述——只有前者是对的。这种方向性、非对称性的知识,是概率分布本身无法编码的,必须由额外的结构承载。
Judea Pearl 将因果知识的层级组织为三层,通常称为因果推断阶梯(Ladder of Causation):
- 第一层(关联,Association):回答形如 的问题,即「观察到 时, 的分布是什么」。这一层是纯统计学的领地。
- 第二层(干预,Intervention):回答形如 的问题,即「若外部强行使 , 的分布是什么」。
- 第三层(反事实,Counterfactual):回答形如 的问题,即「已经观测到 的这个个体,若当初 被设为 , 会取什么值」。
Pearl 证明了一个重要的否定性结论:在一般情形下,仅凭第一层的信息(即观测分布本身),不足以唯一确定第二层或第三层的量,除非引入额外的结构假设。这正是因果图、结构因果模型与结构方程存在的意义——它们是在观测分布之外,显式引入的「结构性知识」,使得第二、三层的问题在数学上可解。本文将依次、系统地展开这三个层层递进的形式化工具;随后把这一体系与潜在结果框架、传统结构方程模型等相邻传统作对照,并讨论其成立所依赖的假设与适用边界。
因果图
1.1 有向无环图的形式化定义
定义 1.1(有向图) 一个有向图是一个二元组 ,其中 是节点(顶点)的有限集合, 是有向边的集合。若 ,记作 ,称 为 的父节点(parent), 为 的子节点(child)。
定义 1.2(路径) 图 中从 到 的一条路径是一个节点序列 ,使得对每个 , 与 之间存在一条边(不论方向)。若路径上所有边的方向都与路径前进方向一致,称为有向路径;若 且 ,则称为一个环(cycle)。
定义 1.3(有向无环图,DAG) 若图 中不存在任何环,则称 为有向无环图。
定义 1.4(因果图) 一个因果图是一个 DAG ,附加如下语义解释:对任意 , 被假设为 的直接原因(direct cause)——即存在至少一种对其余变量的取值组合,使得改变 会改变 的取值或分布。
需要强调:因果图的每一条边都是一个不可从数据中验证的结构性假设(除非借助特定的因果发现算法与额外假设),它来自领域知识、实验设计或时间先后关系等外部信息。这一点是因果图区别于「从数据拟合出的图模型」的本质特征。
例 1.1 设变量集合 ,分别代表季节(Season)、下雨(Rain)、洒水器开启(Sprinkler)、草坪潮湿(WetGrass)。因果图 定义为: 此图断言:季节直接影响降雨与洒水器的开启概率;降雨与洒水器开启都直接影响草坪是否潮湿;而季节对草坪潮湿的影响完全通过降雨与洒水器这两条中介路径传递,不存在季节直接作用于草坪的边。这后一点——某条边不存在——与图中已画出的边同样重要,是因果图的核心信息量所在。整张图的形状如下:
┌──────────→ R ──────────┐ │ ↓ S ───┤ W │ ↑ └──────────→ Sp ─────────┘其中季节 是整套机制的源头,草坪潮湿 是两条中介路径的汇合点。
1.2 三种基本连接结构及其统计含义
任意路径都可以分解为若干长度为 2 的子路径(即三节点结构),因此理解全图的依赖关系,可以归约为理解三种基本三节点结构。设三个节点 , 位于 之间的路径上。三种结构图示如下:
链 X ──→ Z ──→ Y
叉 X ←── Z ──→ Y
对撞 X ──→ Z ←── Y
结构一:链(Chain)
命题 1.1 在链式结构下,若结构方程满足一般位置条件(无退化取消),则 (边际不独立),但 (给定 时条件独立)。
直观证明: 对 的全部影响必须经过 传递。一旦 的取值被固定, 就丧失了改变 分布的任何「渠道」,因此二者在此条件下不再携带彼此的信息。
例 1.2 吸烟(Smoking)→ 焦油沉积(Tar)→ 肺癌(Cancer)。边际地看,吸烟与肺癌高度相关;但若将研究对象限定为「焦油沉积水平完全相同的人群」,则在这一子群体内,是否吸烟与是否患癌不再相关——因为吸烟致癌的全部机制已经被「焦油沉积」这一中介变量所概括。
需要强调这里隐含的假设:上述结论真正成立的前提,是「焦油沉积」与「肺癌」之间不存在未观测的共同原因。这一点值得仔细分辨——它并不是「在数据中按焦油分层」,而是在说「若外部把焦油水平固定住,吸烟对肺癌就不再有效应」。二者只有在特定假设下才一致:一旦焦油与肺癌之间存在未观测的共同原因,条件化焦油反而会在中介与结果之间引入新的对撞偏差(其机制正是下文结构三)。因此例 1.2 应被理解为一个理想化的机制分解,而非一条可以在真实流行病学数据上直接执行的结论——这也正是 3.4 节中介分析必须依赖更强假设的原因。
结构二:叉(Fork),共同原因结构
命题 1.2 在叉式结构下,(边际不独立),但 。
例 1.3 气温(Temperature)→ 冰淇淋销量(IceCream),气温 → 溺水人数(Drowning)。 冰淇淋销量, 溺水人数,二者在夏季同步上升,边际相关系数显著为正;但若将数据按气温分层(即条件化 气温),在每一层内部冰淇淋销量与溺水人数不再相关。这类由共同原因导致的边际关联,称为虚假关联(spurious association), 称为混杂因子(confounder)。
结构三:对撞(Collider)
命题 1.3(对撞偏差,Collider Bias) 在对撞结构下,若 无其他连接路径,则 (边际独立);但 (给定 ,即便只是给定 的后代变量,也会产生条件不独立)。
直观证明:不失一般性设 。给定 这一约束,相当于把 的取值限制在满足 的一个子流形上。在这个子流形上, 的取值会反向约束 的可能取值范围——即便 在无约束时相互独立,在此子流形上二者一般不再独立。这一现象与「解释消除(explaining away)」直觉一致:已知 发生,若又得知 是导致 的原因,则 作为 的另一原因的「责任」会被相应降低。
例 1.4 才华(Talent)→ 明星身份(Celebrity)← 美貌(Beauty)。设才华与美貌在总体人群中独立同分布,互不相关。若将研究样本限定为「已成为明星的人」(即条件化 ),则在这一子群体中,才华与美貌会呈现出负相关——因为一个才华一般的人若能成为明星,多半是靠美貌弥补,反之亦然。这一负相关是样本选择造成的统计假象,并非二者之间存在任何真实的因果联系。这类偏差在流行病学中亦称伯克森悖论(Berkson's Paradox),也是众多观测性研究中「选择偏差」的图论根源。
1.3 d-分离:路径阻断的一般判据
三种基本结构可统一为一个可在任意复杂 DAG 上递归判定的一般规则。
定义 1.5(路径的阻断) 设 为一组已条件化的节点集合, 为 与 之间的一条路径。称 被 阻断,当且仅当 上至少存在一个节点 满足下列条件之一:
(i) ,且 在 上构成链结构()或叉结构();
(ii) 在 上构成对撞结构(),且 本身及其**全部后代(descendants)**都不属于 。
定义 1.6(d-分离) 若 与 之间的每一条路径都被 阻断,则称 与 在给定 时 d-分离,记作 。
定理 1.1(图 - 分布对应定理,Verma & Pearl, 1988) 设分布 由与 DAG 相容的 SCM 生成(见第二部分马尔可夫性假设)。则: 即 d-分离是概率独立性的充分条件。若进一步假设 相对于 满足忠实性(faithfulness)——即 中不存在的独立性都不是偶然的参数取消所致——则该蕴含关系可加强为当且仅当。
这一定理的实践意义极为重大:它把「该不该在回归分析中控制某个变量」这一问题,从一个凭经验拍脑袋的决策,转化为一个在图上可机械判定的组合问题。控制混杂因子(叉结构中的 )能够正确地消除虚假关联;但控制对撞因子(或对撞因子的后代)却会人为制造虚假关联——这正是所谓「越多变量控制越严谨」这一朴素直觉在因果推断框架下失效的根本原因,实践中称为对撞偏差引发的过度控制谬误(overcontrol bias)。
1.4 因果图的来源:因果发现
定义 1.4 之后我们强调过:图中的每一条边都是不可从数据中验证的结构性假设。但一个自然的问题是——这些假设究竟从哪里来?实践中主要有四个来源:
- 领域知识与物理机制:电路中的欧姆定律、燃烧过程中的氧化反应,机制本身规定了方向;
- 时间先后:若 在时间上先于 ,则 被排除;但反向并不自动成立,因为共同原因仍可能同时影响二者;
- 实验干预: 会切断 的全部入边,直接暴露 对 的作用方向,是最可靠的来源;
- 因果发现算法:在额外假设下,由观测数据自动推断图的结构。
第 4 条值得展开,因为它常被误解为「从数据中读出因果」,而其真实含义恰恰相反——它是关于「在何种假设下,数据中的哪些部分能够约束图」的一组定理。
首先要承认一个否定性结论:仅凭观测分布,我们至多只能确定图所属的一个马尔可夫等价类(Markov equivalence class),而非图本身。以三个变量 为例,下面三个 DAG
X ──→ Y ──→ Z X ←── Y ──→ Z X ←── Y ←── Z
所蕴含的条件独立关系完全相同:三者都蕴含 、 与 ,因此在任何与之相容的分布下,三者产生的数据在统计上无法区分。而第四个图,即对撞结构 ,蕴含的是边际独立 ,与前三个不同,因此它可以被数据认出来。
这一观察可以推广为一个一般结论:观测分布唯一确定的是图的骨架(skeleton,忽略方向的边集)以及所有的对撞结构(v-结构),其余边的方向原则上不可识别。这解释了为什么因果发现算法的输出往往不是一个 DAG,而是一张带有部分无向边的本质图(CPDAG,亦称 pattern)。
要在此基础上进一步定向,必须引入超出分布本身的假设,主要有三条路线:
- 约束式方法(constraint-based):以忠实性假设为前提,反复检验条件独立关系并据此定向,代表算法为 PC。若允许存在未观测的混杂变量,则须改用 FCI,其输出(PAG)以双向边 显式标示「二者之间存在未观测的共同原因」。
- 评分式方法(score-based):为每个 DAG 或等价类定义评分(如 BIC、贝叶斯后验),在等价类空间上做搜索,代表算法为 GES。它与约束式方法一样,仍然只能恢复到马尔可夫等价类。
- 函数式方法(functional / additive noise):假设结构方程取加性噪声形式 且 。此时「」与「」两个模型一般不能互相拟合——反向模型的噪声项会与输入相关,除非 为线性且噪声为高斯。于是方向变得可识别,线性非高斯情形下即得到 LiNGAM 家族算法。代价是引入了比忠实性更强的函数类假设,且判定结果对该假设相当敏感。
综上,因果发现把「边从哪来」这一问题从纯粹的先验判断,部分地转化为「在给定假设下可被数据检验」的问题;但这些假设本身(忠实性、无隐变量、函数类)仍然无法从数据中获得。这与本文的核心立场一致:数据只能在结构给定的前提下发挥作用,结构本身必须来自数据之外。
例 1.5 若已知 与 依赖、 与 依赖,而又观测到 ,则与之相容的三节点结构只剩下对撞 。这是因果发现中最基本的一条定向规则,也是「共同原因」与「因果链」两族结构唯一能被数据区分开的地方。
结构因果模型
因果图给出的是变量间依赖关系的定性拓扑,尚不包含足以计算具体数值的信息。要将因果图提升为可定量计算的生成模型,需要引入结构因果模型。
2.1 SCM 的形式化定义
定义 2.1(结构因果模型) 一个结构因果模型是一个四元组 其中:
- 是 外生变量(exogenous variables) 集合,代表模型边界之外、不由模型内部机制解释的随机扰动源;
- 是 内生变量(endogenous variables) 集合,是模型所关心、由模型内部机制决定的变量;
- 是 结构方程(structural equations) 集合,每个 是一个确定性函数 其中 ( 的「父集合」)是被假设直接影响 的其余内生变量子集, 是影响 的外生噪声;
- 是外生变量集合 上的联合概率分布。
定义 2.2(诱导因果图) 给定 SCM ,其对应的因果图 定义为:,且对每个 、每个 ,画一条边 。
定义 2.3(马尔可夫型 SCM,Markovian SCM) 若 是无环的,且各外生变量 两两相互独立(即不存在同时影响两个及以上内生变量的「隐藏共同噪声」),则称 为马尔可夫型 SCM。若外生变量之间允许相关(对应存在未显式建模的混杂因子),则称为半马尔可夫型(semi-Markovian),此时因果图通常需要补充双向虚线弧 以标示这种隐藏依赖。本文后续讨论若无特别说明,均限于马尔可夫型 SCM。
2.2 诱导分布与马尔可夫性
定义 2.4(诱导概率分布) 给定马尔可夫型 SCM ,由于每个内生变量都是外生变量的确定性函数(递归代入 中所有方程后可得 ), 上的分布 唯一诱导出 上的一个联合分布 ,称为 的诱导分布(induced distribution)或观测分布。
定理 2.1(马尔可夫分解,Markov Factorization) 若 为马尔可夫型 SCM,其诱导分布 可分解为: 即联合分布可写成每个变量在给定其父节点条件下的条件分布之乘积。
证明梗概:由于 相互独立,且 仅是 与 的函数,按图的拓扑序(即父节点排在子节点之前的节点序列)逐一代入,可归纳证明 ,这正是定理 1.1 中马尔可夫性假设的来源,也是贝叶斯网络理论中「局部马尔可夫性」与「因子分解」等价性定理的因果版本。
这一定理揭示了 SCM 与传统贝叶斯网络的联系与区别:二者在纯观测层面(第一层关联)诱导出相同的概率分解公式,唯一的区别在于 SCM 额外赋予了每条边「直接原因」的因果语义,从而支持贝叶斯网络本身不具备的干预与反事实计算——这一区别将在第三部分具体展开。
2.3 洒水器模型的 SCM 表示
沿用例 1.1 的因果图,一个具体的马尔可夫型 SCM 实例可定义如下。设内生变量均为二元 :
此处所有 变量相互独立。这一具体赋值把因果图 「填满」为一个可计算的生成过程:给定外生变量的一次采样(一次「自然实现」),内生变量的取值随之唯一确定。这正是结构方程「确定性」这一特征的体现——随机性完全由外生变量 承担,内生变量之间的关系在给定 后不再含有任何随机成分。这一设计并非技术上的简化,而是使后文反事实推理(第三部分 3.3 节)得以定义的必要前提:唯有把所有随机性封装进 ,「同一个体在不同假设情景下会如何」这一问题才有明确的数学对象可以对应。
结构方程与因果计算
第二部分给出的 SCM 已经具备了计算观测分布 的全部要素。本部分讨论结构方程如何进一步支持第二、三层的因果计算。
3.1 结构方程的非对称性
定义 3.1(结构方程 vs. 代数方程) 形如 的结构方程与代数方程 在数值上等价,但语义不同:结构方程蕴含一种非对称的生成关系,规定右边变量的取值决定左边变量的取值,而这一决定关系不可逆——即便 可逆,从 反解出 得到的也只是「给定 , 的取值应为多少」这一代数关系,而非「改变 会如何改变 」这一因果关系的镜像。
例 3.1(欧姆定律的因果解读) 设某电路中电压源固定输出 ,电阻为 ,依据电路物理机制,电流由前两者共同决定:结构方程应写作 而非 或 。三个代数式在数值上完全等价,但只有前者正确刻画了该电路的生成机制。这一区分的实践意义在于:若外部操作者通过某种装置强行将电流设定为 (例如接入恒流源),依据正确的结构方程,会导致电压 相应改变以满足 ,而电阻 不受影响;若错误地采用 作为该情境下的结构方程,则会得出「电阻会因电流改变而改变」这一荒谬结论。选对结构方程的方向,等价于选对了系统中「谁是自变量、谁是因变量」这一物理事实,这一信息无法从代数关系本身获得,必须来自对系统机制的外部知识。
3.2 干预与 do-算子
定义 3.2(干预,do-operator) 给定 SCM ,对变量 施加干预 ,得到一个新的子模型(submodel) ,其中 即把 原有的结构方程 整体替换为常量赋值,其余所有方程保持不变。
定义 3.3(干预分布) 变量 在干预 下的分布,定义为子模型 的诱导分布:
在图上的对应操作:干预 对应从因果图 中删去 的所有入边(即切断 与其父节点的连接),得到修改后的图 ,同时保留 的所有出边不变。这一操作直观地表达了「外部干预使得 不再由其自然原因决定,而是由外部力量强制设定」这一语义。
定理 3.1(截断因子分解公式,Truncated Factorization) 对马尔可夫型 SCM, 即干预分布等于观测分布的马尔可夫分解式中删去 对应因子后的乘积。这一公式是连接观测数据(第一层)与干预效果(第二层)的桥梁,也是后续「后门准则」「前门准则」等可识别性理论的直接推论。
例 3.2(观察与干预的数值区分) 沿用洒水器例子。设已知 (洒水器开着)。
- 观察情形 :由于 ,观察到洒水器开启会更新我们对季节 的信念(贝叶斯反推),例如若干燥季节更常开洒水器,则观察到 会提高「当前是干燥季节」的后验概率,进而压低 的概率。此计算通过叉结构 这条未被阻断的路径进行。
- 干预情形 :依据定义 3.2,干预会切断 这条边,于是 的分布完全不受「我们把洒水器打开」这一操作的影响;而 这条路径由于 边已被切断,不再传递任何信息。因此 与是否干预洒水器完全无关。
数值验证:把 2.3 节给出的具体参数代入,可以直接把这一差别算出来。由于 是唯一影响 的变量, 而由 及 ,得 二者相差一倍以上,且方向与正文的分析完全一致:观察到洒水器开着,反而使我们对「正在下雨」的信念大幅下降()——因为洒水器在旱季更常开启,观测到它本身即构成「当前是旱季」的证据,进而压低降雨概率。这两个数字之间的差距,就是「相关」与「因果」在同一个模型内部的全部分量。
一般地,,二者的差异正是「相关不蕴含因果」这一箴言在结构方程框架下的精确定量表述:前者包含了通过混杂路径(如叉结构)传递的虚假信息,后者则通过对结构方程的手术式修改将其剔除。
3.3 反事实:从群体到个体
干预分布 回答的是群体或总体层面的问题:「若对某个(服从既定分布的)个体施加干预 , 的分布会是什么」。而反事实推理进一步追问特定已观测个体层面的问题:「对于这个已经观测到 的具体个体,若当初 被设为 ,其 会是什么」。这需要更精细的结构。
定义 3.4(潜在结果,Potential Outcome) 给定 SCM 与其外生变量的一次具体实现 (对应一个特定「个体」或「世界状态」),变量 在假设 下的潜在结果定义为子模型 在 下的取值:
算法 3.1(反事实查询的三步算法) 给定观测证据 (例如 ),欲计算反事实量 ,分三步进行:
- 溯因(Abduction):利用观测证据 ,将外生变量的先验分布 更新为后验分布 ,即根据「结果倒推该个体所处的具体随机情境」;
- 行动(Action):对结构方程集合施加 ,得到子模型 (同定义 3.2);
- 预测(Prediction):在子模型 中,用第一步得到的后验分布 计算 的分布,即为所求反事实分布:
例 3.3(反事实的具体计算) 设某病人服用了某药()后康复()。欲问:「若该病人当初未服药(),是否仍会康复?」——即求 。这一问题不能简单地用干预分布 (总体中未服药者的康复率)来回答,因为后者描述的是「随机抽取一个未服药个体」的康复概率,而反事实问题问的是这同一个已知服药后康复的病人。按照三步算法:首先根据「该病人服药后康复」这一证据,对可能导致其康复的外生因素(如自身免疫力 )的分布进行后验更新——服药后康复的人群中,「体质本身较好、即使不服药也可能康复」的后验概率会高于总体先验;随后在 的子模型中,用这一更新后的 分布重新计算 。这解释了为什么反事实概率 一般会高于总体干预概率 ——因为前者的条件化过程已经通过溯因步骤「筛选」出了体质更好的子群体。这一细微但本质的差别,是反事实推理(第三层)无法被干预计算(第二层)替代的直接例证,也是「个体化处理效应(Individual Treatment Effect)」这一概念在医学与政策评估中难以精确估计、却又极具价值的理论根源。
一个必须说清楚的边界:反事实的可识别性。 上述三步算法成立的前提是 SCM 完全已知—— 中的函数形式与 的分布都已指定。而在现实中我们通常只有观测数据, 与 都是未知的。这一差别不是技术细节,而是第三层与第二层之间的一条硬边界:
- 第二层的量 在满足后门准则或前门准则(见 3.5 节)时,可以仅用观测分布表达出来,因而能够由数据估计;
- 第三层的量 则要求「同一个体在另一个可能世界中的取值」,也就是要求同一个 ,而 本身不可观测。观测数据只能给出内生变量 的联合分布,一般无法唯一反解出 。
由此可以得到一个一般性判断:反事实量在一般情形下不可从观测数据识别,只有在 SCM 被完整指定、或引入足够强的额外假设时才可计算。
一个极端而富有启发的例子是线性 SCM:此时 蕴含 ,于是给定任一观测到的 , 被唯一确定,反事实分布退化为一个点质量,个体处理效应似乎唾手可得。但这一「可得」完全是线性与可加假设的产物,而非数据所提供的信息——一旦允许非线性或非高斯,「同一个 」便重新变得不可复原。这也正是经典 SEM 传统(见 4.2 节)能够讨论「个体效应」、而现代因果推断对此极为谨慎的原因所在。
因此第三层虽然在形式上已被定义清楚,其实践可达性却最弱。本文余下部分把重点放在第二层的可识别性上,这并非理论上的偏好,而是数据所能支撑的边界所在。
3.4 中介分析:从总效应到直接效应与间接效应
第一部分曾用链结构 说明「控制中介会切断全部影响」。当时给出的只是定性结论,现在有了 do-算子与反事实的语言,可以把「影响如何被分解」这件事精确化。
设 为处理变量, 为结果, 为介于二者之间的中介变量。 对 的作用只可能经过两条通道:中介通道 与直接通道 。
X ──→ M ──→ Y
│ ↑
└───────────┘
先定义总效应(Average Total Effect): 即把 从参考水平 改为 时结果期望的净变化。为区分上述两条通道各自的贡献,Pearl 引入两个第三层的量:
定义 3.5(自然直接效应与自然间接效应) 其中 表示「把 设为 ,同时把 设为若 取 时 本会取的值」这一反事实量。
由定义立即可得总效应的精确分解:
其含义可以这样读:NDE 让中介停留在「另一个世界」的取值上,因此度量的正是直接通道;NIE 则度量中介由 变为 所贡献的间接部分。
需要特别注意, 是一个跨世界(cross-world)量:它在同一个个体 上同时引用了 与 这两个互不相容的世界。因此中介分析在本质上属于第三层而非第二层——这也解释了为什么中介效应长期以来被认为是不可识别的。
可识别性条件(序贯可忽略性):要使 NDE 与 NIE 可由观测数据估计,需要同时满足
- 与 之间无未观测混杂(给定协变量 );
- 与 之间无未观测混杂(给定 );
- 与 之间无未观测混杂(给定 );
- 与 之间不存在受 影响的混杂因子。
其中第 4 条最容易被忽略,也最强:它要求中介与结果之间不能存在被处理变量触及的共同原因。四条合称序贯可忽略性(sequential ignorability)。在此条件下,自然直接效应可由观测分布表达为 自然间接效应则相应地由 给出。
回到例 1.2 的告诫:实践中极易发生的一种错误,是把中介当作普通协变量放进回归模型 ,再把 的系数解释为「 的效应」。由上述分解立即可见,这样做得到的其实只是直接效应 NDE,它系统性地遗漏了经由 传递的间接部分,因而会低估 的总效应。而当「控制 」的动机恰恰是「我想排除混杂」时,这一操作等于是把待估计的那条因果通道本身切断了——这是链结构在实践中最重要的一个陷阱。即便只想得到 NDE,也仍然需要上述四条假设;只有在线性且无交互的特殊情形下, 中 的系数才恰好等于 NDE,一旦存在 交互或 进入非线性的函数形式,该系数便失去直接效应的解释。
3.5 可识别性:do-演算、后门准则与前门准则
在实践中,我们通常只有观测数据(第一层),希望知道某个干预量 (第二层)能否用观测分布中的量表达出来,这一问题称为**可识别性(identifiability)**问题。Pearl 给出了一套完全在图的层面运作的工具:它只需要因果图本身,不需要知道任何结构方程的具体函数形式 。
记 为从 中删去所有指向 的边所得的图, 为删去所有从 出发的边所得的图,并记 为 中不属于 的后代的节点子集,则:
定理 3.2(do-演算三规则) 对任意互不相交的变量集合 :
- 规则 1(插入 / 删除观测):若 ,则
- 规则 2(干预与观测的互换):若 ,则
- 规则 3(插入 / 删除干预):若 ,则
三条规则的形态高度一致:每一条都在某个 d-分离判据成立时,把一个含 算子的表达式改写为 算子更少(或不含 )的表达式。因此判断 是否可识别的过程,就是反复应用三条规则、尝试消去全部 算子的过程。Shpitser 与 Pearl(2006)进一步证明了这套规则对可识别性是完备的:若不存在任何有限次的规则应用序列能把目标量化为不含 的形式,则该量确实不可由观测分布识别。这一点很重要——它为「不可识别」这一否定性结论提供了证明手段,而不只是「暂时没想到办法」。
若不想每次都从三条规则出发作推导,可以使用若干直接给出识别公式的充分性准则。其中最重要的一条是后门准则:
定理 3.3(后门准则,Back-door Criterion) 若变量集合 满足:(i) 中不包含 的任何后代;(ii) 阻断了 之间所有以指向 的边起始的路径(「后门路径」),则 即干预效果可以通过对满足后门准则的变量集合 做分层加权平均(standardization),完全由观测数据估计得出,而无需真正实施干预、进行随机对照实验。
条件 (i) 的必要性,正是第一部分对撞结构那一结论的直接后果:一旦把 的后代放进 ,就可能在 与 之间人为打开一条对撞路径,制造出并不存在的关联。
不过后门准则有一个明显的局限:它要求所有混杂变量都被观测到、且可以被条件化。而在现实中,这一要求经常落空。以下这条准则则可以在存在未观测混杂的情形下绕过这一困难:
定理 3.4(前门准则,Front-door Criterion) 设变量集合 满足:(i) 阻断了所有从 指向 的有向路径(即 对 的全部因果影响都经过 传送);(ii) 不存在从 到 的、未被 阻断的后门路径。则
例 3.4 回到例 1.2 的吸烟模型,但这次显式承认存在未观测的混杂:设 为不可观测的遗传因素,(吸烟)且 (肺癌);已知的结构为 ,其中 为焦油沉积。
U (不可观测) ╱ ╲ ↓ ↓ X ──→ M ──→ Y此时 与 之间的后门路径 无法被阻断( 不可观测),后门准则失效。但 阻断了唯一的因果路径 ,且 到 不存在除经由 之外的后门路径,因此前门准则给出 即:即便存在不可观测的混杂,只要有一个满足前门条件的中介变量,吸烟对肺癌的因果效应仍然可以从纯观测数据中识别出来。 这是因果图相对于纯统计框架的一个相当反直觉的力量所在——它把「哪些数据是可用的」与「哪些机制是可靠的」分开处理,从而在因果推断看似无从下手之处找回了一条通路。
前门准则同时也是 2.1 节中「半马尔可夫型 SCM」这一概念唯一的实际用武之地:当外生变量之间存在相关的隐藏噪声时,正是这类准则在继续保证可识别性。但必须强调,前门准则的适用面很窄——它要求恰好存在一个阻断全部因果路径的中介变量,并且该中介与结果之间不存在未观测的混杂。对一般结构的半马尔可夫型 SCM,可识别性并不自动成立。
这一准则将第一部分中「该控制哪些变量」的图论直觉,与第三部分的干预定义精确对接:叉结构中的混杂因子正是典型的满足后门准则的调整集合,而对撞结构中的变量则应被排除在 之外。这一对应关系并非巧合:满足后门准则的调整集合,正是一个能够阻断全部非因果路径的 d-分离集合,第一部分与第三部分在此处精确接榫。至此,本文从因果图出发、经由结构因果模型、最终落脚于结构方程与 do-演算的逻辑链条已经闭合。剩下要问的是:这一体系与统计学、计量经济学中既有的因果推断工具相比处于什么位置,以及它的成立依赖哪些假设。
相邻框架与适用边界
本文至此勾勒的是一套自洽的形式化体系。但因果推断在统计学、计量经济学与机器学习中并非只有这一种语言。本部分把它与两个最重要的相邻传统作对照,说明各自的着眼点与互补之处,最后梳理该体系成立所依赖的假设与边界。
4.1 潜在结果框架:一种等价的语言
与结构因果模型并行发展的,是由 Rubin 等人推动的潜在结果框架(Potential Outcome Framework,亦称 Rubin 因果模型)。它不诉诸图,而是从个体层面的潜在结果出发:
定义 4.1(潜在结果与因果效应) 设 为处理指示变量。对每个个体 ,定义两个潜在结果 (接受处理时的结果)与 (未接受处理时的结果)。个体因果效应定义为 ,平均处理效应定义为 。
这一框架的核心困难称作因果推断的根本问题(Fundamental Problem of Causal Inference):对任何个体,我们只能观测到 ,另一个潜在结果永远缺失。因此个体因果效应原则上不可观测,只能转而估计总体层面的量。
这与本文 3.3 节的三步算法形成直接对照:潜在结果框架中的 正是 SCM 中的 ,个体 即外生变量的一次实现 。事实上,在只涉及可操纵变量、且不引用跨世界量的范围内,两套形式化被证明是等价的;SCM 的表达力略宽一些,例如它可以容纳不可操纵的变量(如年龄、性别),而这在严格的潜在结果表述中会造成困难。二者共享同一组识别性条件,只是表述方式不同:
- SCM 用 d-分离与后门准则回答「应当控制哪些变量」,把这一判断变成图上的机械判定;
- 潜在结果框架用可忽略性假设(ignorability) 表达同一件事,并由此导出倾向得分 ,以及逆概率加权(IPW)、双重稳健估计等成熟的估计工具。
值得注意的是, 与「 满足后门准则」所刻画的正是同一组条件:随机化(或条件随机化)在图上做的事情,恰恰就是删除指向 的全部入边。此外,潜在结果框架还引入了 SCM 表述中不显式出现的两条假设——SUTVA(个体的结果不受他人处理状态的影响,且处理版本唯一)与重叠性()。前者在存在干扰或溢出效应(如疫苗接种、社交网络中的实验)时会被违反,而这类情形在图上需要特殊的结构才能建模。这是两个框架互补而非竞争的一个典型例子。
4.2 传统结构方程模型:同一名称下的另一条传统
「结构方程模型」这一术语在统计学、心理测量学与社会科学中已有数十年的历史,其含义与本文所述并不相同。为避免混淆,此处有必要作一辨析。
经典意义上的 SEM 由两部分组成:测量模型(潜变量与观测指标之间的因子结构,即验证性因子分析)与结构模型(潜变量之间的路径系数)。它以观测变量的协方差矩阵为拟合对象,通过极大似然等方法估计参数,并以 、CFI、RMSEA 等指标评价模型与数据的整体拟合优度,典型应用是心理量表与社会科学的潜变量建模。
与本文的因果结构模型相比,二者的差别可以归纳为三点:
- 边的语义不同。经典 SEM 的路径图本质上是对协方差结构分解的图解,方向由理论约定,模型检验关心的是「这个协方差模式能否被这个路径图解释」;而本文的 SCM 把每条边当作「直接原因」这一不可从数据验证的结构性假设(见 1.1 节),并强调它必须来自数据之外。
- 是否具备 do-算子。经典 SEM 没有干预的语义,其路径系数不能被直接解释为干预效应,只有在额外假设(通常等同于后门准则)下,这些参数才恰好与因果效应一致。这也正是同一份协方差矩阵可以同时被多个方向不同的路径图拟合的原因。
- 反事实的可识别性来自假设而非数据。经典 SEM 通常假设线性、可加且噪声服从高斯分布,而正如 3.3 节所指出的,在这一特殊设定下 可由 唯一反解,反事实量因此「自动可识别」。这既是它能够讨论个体效应的原因,也是它最脆弱的地方:结论的强度完全由函数形式的假设承担。
一句话概括:经典 SEM 关心的是「协方差结构能否被一个路径图解释」,而结构因果模型关心的是「若外部改变某个变量,其余变量将如何变化」。
4.3 随机对照试验的因果语义
本文的形式化工具同时给出了随机对照试验(RCT)为何享有「黄金标准」地位的一个精确解释。
在因果图中,随机分配意味着 的取值由模型之外的机制(随机数生成器)决定,因此 在图中没有任何父节点,也就不存在任何后门路径。由后门准则(取 )立即得到 即干预分布与条件分布重合,观测数据可以直接回答第二层的问题。用一句话说:随机化就是人造的 do-算子——它在物理上执行了定义 3.2 中「删去 全部入边」这一手术。
这一视角同时划出了 RCT 的边界:
- 它回答的是第二层问题,不能回答个体反事实(见 3.3 节的可识别性边界);
- 它识别的是实际实施的处理版本,若存在不依从(non-compliance),随机化在图上即被违反,需要借助工具变量等额外结构才能恢复效应估计;
- 随机化只保证组间可比,若存在干扰或溢出效应(SUTVA 违反), 与结果之间仍可能经由个体之间的相互影响产生关联;
- 它保证的是内部有效性,外部有效性并不会自动成立——这引出下一小节。
4.4 可迁移性与外部有效性
一个在实践中反复出现的问题是:在某一人群(或地区、时间)中估计出的因果效应,能否搬到另一个人群中去?纯统计框架对这一问题通常只能给出「谨慎泛化」这样的告诫,而因果图可以提供更精确的回答。
Pearl 与 Bareinboim 提出的可迁移性(transportability)理论把这类问题形式化如下:设源总体为 、目标总体为 ,在选择图(selection diagram)中用方框记号 标出两个总体之间机制存在差异的节点。有了这一标注,就可以像 do-演算那样通过图上的判定,确定哪些机制可以在两个总体之间共享(因而可以搬运)、哪些必须在目标总体中重新估计,并给出相应的传输公式(transport formula)。
这一工具的意义在于:外部有效性被从一句笼统的方法论警告,转化为一个在图上可判定的问题。 例如,某药物在临床试验人群中的效应能否外推到儿童,取决于两个人群之间的差异所触及的机制是否落在从用药到疗效的因果路径上——若差异只影响与结果无关的变量,效应可以直接搬运;若差异恰好作用于效应的关键中介或调节变量,则必须重新估计。这可以视为 SCM 相对于纯统计框架的一个独有优势。
4.5 假设边界与开放问题
本文的体系并非无条件成立。把全部预设集中列出,既是诚实,也是使用时的核对清单:
- 无环性。DAG 假设排除了反馈回路与均衡,但现实中的经济系统(供给与需求互相决定)、生态系统与控制系统本质上是有环的。一种自然的放松方向是有环结构方程模型:允许 ,并以该系统的不动点作为均衡解来定义干预与反事实,此时「因果」的语义变为「均衡状态的移动」。时间序列情形下的动态贝叶斯网络(沿时间维展开后重新成为 DAG)是另一条常见路线。
- Granger 因果不等于干预因果。计量经济学中的 Granger 因果检验,其定义是「利用 的历史能否改善对 的预测」,这是一个纯粹的可预测性概念,与「在 下保持不变」的机制性因果概念分属两个不同的层级。在存在共同驱动因素(尤其是同时驱动二者但滞后不同的因素)时,Granger 因果会给出与干预无关的结论。把二者等同,是应用中最常见的概念混淆之一。
- 忠实性不可检验。1.3 节的「当且仅当」版本依赖忠实性假设,即分布中不存在的独立性都不是参数偶然相消的产物。然而参数相消(例如路径系数恰好满足 )在数学上完全合法,且在某些自然的参数化下(如线性高斯模型的某些先验)几乎必然发生。忠实性无法从数据中检验,只能被接受或拒绝。
- 马尔可夫型假设与不可识别性。本文默认不存在未观测的混杂(2.1 节)。3.5 节的前门准则可以在特定的中介结构下绕过这一限制,但它远非一般性的解决方案。对一般的半马尔可夫型 SCM,存在根本不可识别的结构(例如 与 之间存在未观测混杂、且不存在满足前门条件的中介),此时唯一的出路是用部分识别方法给出效应的上下界,而非一个点估计。
- 选择与缺失。d-分离的判据默认全部相关变量均已被观测,而样本选择本身就是在某些节点上做条件化——例 1.4 的伯克森悖论正是选择偏差的图论根源。同理,缺失数据的机制(MCAR / MAR / MNAR)在因果图中对应何种结构、会对可识别性造成何种影响,是一条自然而且实用的延伸方向。
- 因果发现的可扩展性。1.4 节所述的算法在假设成立、样本充分时具有理论保证,但在有限样本下,条件独立检验的误差会逐层累积,输出的图往往并不稳定;同时这些算法对忠实性、无隐变量、函数类等假设相当敏感,其输出应当被当作待检验的假设候选,而不是结论。
以上限制并未削弱这套理论的价值,反而界定了它的使用条件:因果推断的可靠程度,等于你愿意且能够承担的假设的强度。
其他结语
回顾全文,因果图、结构因果模型、结构方程三者并非彼此独立的工具,而是同一理论体系在不同抽象层级上的展开:
- 因果图在定性层面编码「谁影响谁」。它给出 d-分离这一可在图上机械判定的独立性判据,从而把「该控制哪些变量」从一个凭经验判断的问题,转化为一个组合问题;而它最主要的信息量,恰恰集中在那些没有被画出来的边上。
- 结构因果模型在生成层面把图提升为一个可以生成数据的机制。它通过外生变量 与结构方程 明确了「观测分布」与「干预分布」的区别,使第二层的问题第一次拥有了明确的数学对象。
- 结构方程在操作层面给出这套机制的可改写形式。非对称的 使得 do-算子可以理解为一次对机制的手术式局部替换(),并经潜在结果 通向第三层的反事实。
第四部分则表明,这一体系与潜在结果框架、传统结构方程模型之间并无高下之分,而是对同一批问题的不同表述:本文的框架以图换取「该控制什么」的可判定性,潜在结果框架以概率表述换取成熟的估计工具,而传统 SEM 关心的始终是协方差结构能否被一个路径图解释;至于随机化实验,其全部因果语义就是一次在物理上实施的 do-算子。
这一体系最深刻的洞见在于:因果知识本质上是关于「世界如何生成数据」的知识,而非「数据本身呈现出何种模式」的知识。正因如此,仅凭再大规模、再高维度的观测数据,也无法在没有结构性假设(即因果图)的前提下唯一确定因果效应——这既是因果推断这一领域存在的根本原因,也是它与纯粹的统计学习、机器学习范式在认识论上的分界线所在。
同时也应记住 4.5 节列出的代价:这套理论的可识别性结论,无一例外地建立在无环、忠实、无未观测混杂等假设之上,而其中若干假设本身并不能由数据检验。因此使用因果图时最值得追问的,往往不是「这张图算出了什么」,而是「这张图凭什么长成这样」,以及「若换一张同样合理的图,结论是否仍然成立」。