f-散度族及其推论

f-散度族（f-divergence）用一个凸函数 f 统一刻画两个概率分布之间的差异，KL、JS、全变差、卡方、Hellinger、α-散度都是它的特例。

f-散度族是概率分布之间差异的一大类度量，它用一个凸函数 $f$ 来统一描述 KL 散度、JS 散度、全变差、卡方散度等许多常见散度。可以把它理解为「散度」的通用模板。

用一个凸函数 $f$ （满足 $f(1)=0$ ）定义的散度模板：

D_f(P\|Q) =\mathbb E_Q\left[ f\left(\frac{dP}{dQ}\right)\right]

它统一了 KL、JS、全变差、卡方、Hellinger 等众多散度，具有非负性、联合凸性、变分对偶表示和数据处理不等式等核心性质，是信息论和生成模型理论中的基础工具。

1. 定义

设 $P,Q$ 是同一个可测空间 $(\mathcal X,\mathcal A)$ 上的两个概率分布，且 $P$ 关于 $Q$ 绝对连续（即 $P\ll Q$ ），记

t(x)=\frac{dP}{dQ}(x)

为 Radon–Nikodym 导数（在离散情形就是概率质量之比，在密度存在时就是密度之比 $p(x)/q(x)$ ）。

定义 1.1（f-散度） 给定一个凸函数 $f:[0,\infty)\to\mathbb R$ ，且满足 $f(1)=0$ ，则 $P$ 关于 $Q$ 的 f-散度 定义为
$\begin{aligned} D_f(P\|Q) &=\int q(x)\, f\!\left(\frac{p(x)}{q(x)}\right)dx, \end{aligned}$
更一般地写成关于 $Q$ 的期望形式
$\begin{aligned} D_f(P\|Q) &=\mathbb E_Q\!\left[ f\!\left(\frac{dP}{dQ}\right)\right]\\ &=\int f\!\left(\frac{dP}{dQ}\right)dQ, \end{aligned}$
其中 $q$ 是 $Q$ 的密度。

1.1 不依赖参考测度

上面的定义里出现了「密度」，这会让读者误以为它依赖 Lebesgue 测度。其实 f-散度只依赖两个分布本身。取任一 $\sigma$ -有限测度 $\mu$ 同时控制 $P$ 与 $Q$ （例如 $\mu=\tfrac12(P+Q)$ ），令 $p=\frac{dP}{d\mu}$ ， $q=\frac{dQ}{d\mu}$ 。在集合 $\{q>0\}$ 上有 $\frac{dP}{dQ}=\frac{p}{q}$ ，于是

\begin{aligned} D_f(P\|Q) &=\int_{\{q>0\}} f\!\left(\frac{p}{q}\right)q\,d\mu\\ &\qquad+\int_{\{q=0\}} f\!\left(\frac{p}{0}\right)\cdot 0\,d\mu \end{aligned}

第二项正是处理「支撑集不重叠」的地方。若 $f$ 在 $\infty$ 处有界，可约定 $0\cdot f(\infty)=0$ ；若 $f$ 无界，则这一项是否发散决定了 $D_f$ 是否有限。例如对 KL 的 $f(t)=t\log t$ ，当 $P$ 在 $Q$ 的零测集上放质量时这一项为 $+\infty$ 。因此约定：

P\not\ll Q\ \Longrightarrow\ D_f(P\|Q)= \begin{cases} +\infty, & \text{若 } f \text{ 在 } \infty \text{ 处增长},\\[2pt] \text{有限极限值}, & \text{否则}. \end{cases}

其中「否则」指 $f$ 在 $\infty$ 处有界（如 $f(t)=\tfrac12\lvert t-1\rvert$ ），此时 $D_f$ 取有限极限值。下文如无特别说明，默认 $P\ll Q$ ，并把 $D_f$ 看成 $[0,+\infty]$ 中的值。

1.2 只依赖似然比

由定义立刻看出： $D_f(P\|Q)$ 只通过似然比 $t=dP/dQ$ 起作用。也就是说，对任意可测映射 $T:\mathcal X\to\mathcal Y$ ，它是 $t$ 的函数，而不是 $p,q$ 各自的函数。

这一点是 f-散度「缺少几何」的根源，也是它与 Wasserstein 距离分道扬镳的地方（见第 6 节）：只要保持比值 $p/q$ 不变，把两个分布同时「搬到别处」，f-散度的值完全不动。

1.3 非单射与仿射自由度

注意 $\int dQ=1$ 、 $\int dP=1$ ，因此

\int (t-1)\,dQ=\int dP-\int dQ=0 .

于是对任意常数 $c\in\mathbb R$ ，

D_{f+c(t-1)}(P\|Q) =D_f(P\|Q)+c\underbrace{\int(t-1)dQ}_{=0} =D_f(P\|Q).

结论： $D_f$ 只依赖 $f$ 在「模去 $c(t-1)$ 」之后的等价类。两个常用规范化是：

$f(1)=0$ （本文采用）；
$f(1)=0$ 且 $f'(1)=0$ ——此时由凸性 $f(t)\ge f(1)+f'(1)(t-1)=0$ ， $f$ 在整个定义域上非负。

第 3 节里的 KL 的 $f(t)=t\log t$ 不满足第 2 条（它在 $t<1$ 时取负值），但这无妨： $D_f$ 仍然非负（见 4.1），因为「逐点非负」从来不是 f-散度非负性的必要条件。

1.4 等价书写形式

\begin{aligned} D_f(P\|Q) &=\mathbb E_Q\!\left[ f\!\left(\frac{dP}{dQ}\right)\right]\\[2pt] &=\mathbb E_P\!\left[\frac{dQ}{dP}\, f\!\left(\frac{dP}{dQ}\right)\right]\\ &=\mathbb E_P\!\left[ f^{*}_{skew}\!\left(\frac{dQ}{dP}\right)\right], \end{aligned}

其中 $f^{*}_{skew}(t)=t\,f(1/t)$ 是后面 4.3 节的「斜共轭」。最后一个等式说明：交换 $P,Q$ 只是把 $f$ 换成 $t\mapsto t f(1/t)$ ，这对推导「反向 KL」之类的对称性非常方便。

2. 为何 $f$ 凸且 $f(1)=0$

2.1 非负性与 Jensen

设 $X\sim Q$ ，则 $f(X)$ 的期望就是 $D_f$ 。因为 $t=dP/dQ$ 满足

\mathbb E_Q[t]=\int \frac{dP}{dQ}\,dQ=\int dP=1,

对凸函数 $f$ 用 Jensen 不等式：

\begin{aligned} D_f(P\|Q)=\mathbb E_Q\big[f(t)\big] &\ \ge\ f\big(\mathbb E_Q[t]\big)\\[2pt] &=f(1)=0 . \end{aligned}

这就是非负性。 $f$ 的凸性是关键：若 $f$ 是凹函数，Jensen 方向反转， $D_f\le 0$ ，那就不是「散度」了。

$f$ 凸：保证 $D_f(P\|Q)\ge 0$ 。
$f(1)=0$ ：保证当 $P=Q$ 时， $\frac{dP}{dQ}=1$ ，从而 $D_f(P\|P)=0$ 。

因此 f-散度天然具有非负性和「相同分布散度为零」的性质。

2.2 凸性为何必需

有人会问：凸性是不是一个过强的技术条件？答案是否定的。若要求 $D_f$ 对一切「随机变换」（马尔可夫核）单调不增（即第 4.5 节的数据处理不等式），那么 $f$ 必须凸。二元分布上就能看到这一点。

命题 2.1（Csiszár 刻画） 若数据处理不等式 $D_f(PK\|QK)\le D_f(P\|Q)$ 对一切概率对 $P,Q$ 与一切马尔可夫核 $K$ 成立，则 $f$ 凸。

证明（两步）。

第一步：DPI $\Rightarrow$ $(P,Q)$ 联合凸。 设 $P_1,P_2,Q_1,Q_2$ 是 $\mathcal X$ 上任给的四对分布， $\lambda\in(0,1)$ ，记 $P=\lambda P_1+(1-\lambda)P_2$ 、 $Q=\lambda Q_1+(1-\lambda)Q_2$ 。构造扩大一倍的样本空间 $\tilde{\mathcal X}=\{1,2\}\times\mathcal X$ 及其上的两个分块分布：

\tilde P\big((i,x)\big)=w_i\,P_i(x),\qquad \tilde Q\big((i,x)\big)=w_i\,Q_i(x),\qquad w_1=\lambda,\ w_2=1-\lambda .

取确定性核 $K:\,(i,x)\mapsto x$ （"擦掉"分量下标，只保留 $x$ ）。由分块结构立刻算出 $\tilde PK=P$ 、 $\tilde QK=Q$ ，且似然比是分块恒定的： $\dfrac{d\tilde P}{d\tilde Q}(i,x)=\dfrac{dP_i}{dQ_i}(x)$ （权重 $w_i$ 在分子分母中约去）。代入定义：

D_f(\tilde P\|\tilde Q) =\sum_i w_i\,D_f(P_i\|Q_i) =\lambda D_f(P_1\|Q_1)+(1-\lambda)D_f(P_2\|Q_2).

对 $(\tilde P,\tilde Q)$ 使用 DPI，即得到联合凸性：

\begin{aligned} &D_f\big(\lambda P_1+(1-\lambda)P_2 \,\big\|\,\lambda Q_1+(1-\lambda)Q_2\big)\\ &\qquad\le \lambda D_f(P_1\|Q_1) +(1-\lambda)D_f(P_2\|Q_2). \end{aligned}

第二步：联合凸 $\Rightarrow$ $f$ 凸。 固定 $s,u\ge0$ 与 $\lambda\in(0,1)$ ，记目标值 $w=\lambda s+(1-\lambda)u$ 。在两点空间 $\{1,2\}$ 上取同一个底分布 $Q=(\delta,\,1-\delta)$ （ $\delta\in(0,1)$ 充分小），并取似然比在第一坐标上为常数的分布：

P_1=(s\delta,\;1-s\delta),\qquad P_2=(u\delta,\;1-u\delta),

（ $\delta$ 足够小时这都是合法概率分布； $0,1$ 两点上的似然比分别为 $s$ 与 $g(s)=\frac{1-s\delta}{1-\delta}$ ）。于是一般公式给出：对任何第一坐标似然比为常值 $r$ 的分布 $P(r)$ ，

\begin{aligned} D_f\big(P(r)\,\big\|\,Q\big) &=\delta\,f(r)\\ &\qquad +(1-\delta)\, f\!\left(\frac{1-r\delta}{1-\delta}\right). \end{aligned}

把 $r=s$ 、 $r=u$ 、以及混合后的 $r=w$ （混合后第一坐标似然比恰为 $\lambda s+(1-\lambda)u=w$ ，因为两个分布在同一个 $Q$ 下混合，比值线性）代入第一步的联合凸性：

\begin{aligned} &\delta f(w)+(1-\delta)f\big(g(w)\big)\\ &\le \lambda\Big[\delta f(s) +(1-\delta)f\big(g(s)\big)\Big]\\ &\qquad+(1-\lambda)\Big[\delta f(u) +(1-\delta)f\big(g(u)\big)\Big], \end{aligned}

其中 $g(r)=\dfrac{1-r\delta}{1-\delta}$ 。注意 $g$ 是仿射函数且 $g(w)=\lambda g(s)+(1-\lambda)g(u)$ ，用 $f$ 在 $1$ 处的支撑线（凸函数在可微点处 $f(t)\ge f(1)+f'(1)(t-1)*f'(1)*$ ，此处只需次梯度 $f'(1)$ ，即 $f(t)\ge f(1)+g_1(t-1)$ 对任一次梯度 $g_1$ ）处理非主项：对凸的 $f$ ， $f(g(r))$ 中关于 $r$ 的"非主项"部分为

\begin{aligned} f\big(g(r)\big) &=f\big(1+\delta\tfrac{1-r}{1-\delta}\big)\\ &= f(1)+g_1\cdot\delta\,\tfrac{1-r}{1-\delta} +O(\delta^2)\\ &= g_1\,\delta(1-r)+O(\delta^2), \end{aligned}

（用了 $f(1)=0$ ； $O(\delta^2)$ 项在 $r$ 变化时一致有界，因为 $g(r)=1+O(\delta)$ 且 $f$ 连续）。代回不等式：两边的主项（ $\delta f(\cdot)$ 部分）正是 $\delta[\lambda f(s)+(1-\lambda)f(u)]$ 与 $\delta f(w)$ ；非主项部分

(1-\delta)\,g_1\delta\big[\lambda(1-s) +(1-\lambda)(1-u)-(1-w)\big]=0

（方括号内恰为 0，因为 $w=\lambda s+(1-\lambda)u$ ）。于是不等式两边同除以 $\delta>0$ ，令 $\delta\to0^+$ ，得

f\big(\lambda s+(1-\lambda)u\big) \le\lambda f(s)+(1-\lambda)f(u),

即 $f$ 凸。

所以"凸"与"数据处理"是同一件事的两面。这也是 f-散度族成为"一切满足数据处理不等式的最一般散度"的原因：它不是一堆例子的偶然汇总，而是一个有刻画定理支撑的完整族。换句话说，Csiszár–Ali–Silvey 定理给出一个完整的刻画：凸函数 $f$ （模去仿射项） $\leftrightarrow$ 联合凸泛函 $\leftrightarrow$ 满足数据处理不等式的分布差异度量，三者一一对应。

3. 常见散度

不同的 $f$ 对应不同的散度。KL、JS、全变差、卡方、Hellinger、Wasserstein、MMD 等散度，表面上都是「衡量两个分布差多少」，但它们的根本区别可以归结为几个维度：

它们对「差异」的定义方式不同，对「支撑集不重叠」的处理不同，对「几何/度量结构」的利用不同，因而导出的拓扑、梯度行为和优化性质也不同。

可以把不同散度的区别归纳为五个核心问题：

差异定义在什么量上？是密度比值、密度差、累积分布差，还是搬运质量？
是否对称？
是否有界？
是否利用样本空间的几何结构？
诱导的拓扑强弱如何？

这五点决定了散度在理论性质和实际优化中的行为差异。下面逐个把常用散度「代入模板」并验算。

3.1 KL 散度

取：

f(t)=t\log t

（下面 $\log$ 均为自然对数。）则 $f(1)=0$ ， $f''(t)=1/t>0$ 凸。代入模板：

D_f(P\|Q) =\int q\cdot \frac{p}{q}\log\frac{p}{q}\,dx =\int p\log\frac{p}{q}\,dx =D_{KL}(P\|Q)

反向 KL 散度 $D_{KL}(Q\|P)$ 对应斜共轭 $t f(1/t)$ ：

\begin{aligned} f(t)&=t\log t\\[2pt] &\Longrightarrow\ f^{*}_{skew}(t) =t\cdot\frac1t\log\frac1t=-\log t, \end{aligned}

所以

f(t)=-\log t \ \Longrightarrow\ D_f(P\|Q)=D_{KL}(Q\|P).

对称化：Jeffreys 散度。 取 $f(t)=(t-1)\log t$ （它满足 $f(1)=0$ ，且 $t f(1/t)=f(t)$ ），则

D_f(P\|Q)=\int (p-q)\log\frac{p}{q}\,dx \\ =D_{KL}(P\|Q)+D_{KL}(Q\|P)=:D_J(P,Q),

这是 KL 的两向之和，也是一个人为构造的对称 f-散度。

意义。 KL 是最基础的散度，等价于信息论中的相对熵：若真实分布是 $P$ 、而用 $Q$ 去编码来自 $P$ 的样本，那么 $\log$ 以 2 为底时 $D_{KL}(P\|Q)$ 正是用 $Q$ 编码比用 $P$ 编码多付出的比特数，即

\begin{aligned} D_{KL}(P\|Q) &=\underbrace{\mathbb E_P[-\log q(X)]} _{\text{交叉熵}}\\[2pt] &\qquad-\underbrace{\mathbb E_P[-\log p(X)]} _{\text{熵}} . \end{aligned}

在统计中它是最大似然估计的对数似然比的期望，决定了 Stein 引理里第二类错误的最优指数，也是 AIC/BIC 这类模型选择的基石；在机器学习中它是最大似然训练、变分推断与知识蒸馏的目标。它的不对称性带来两种相反的行为： $D_{KL}(P\|Q)$ 要求 $Q$ 在 $P$ 有质量处不为零（零回避，mass-covering，倾向覆盖 $P$ 的每一个模式），而 $D_{KL}(Q\|P)$ 会把 $Q$ 在 $P$ 为零处压到零（零强制，mode-seeking，倾向锁定单一模式）。GAN 的模式崩塌与变分推断的均值场近似，本质都由这一不对称性决定。

3.2 JS 散度

先回顾 JS 散度的定义，令 $M=\frac12(P+Q)$ ：

D_{JS}(P\|Q)=\frac12 D_{KL}\!\left(P\|M\right) +\frac12 D_{KL}\!\left(Q\|M\right).

它是单个 f-散度。 这一点很容易被误解。我们直接构造 $f$ ：代入 $p=tq$ ，于是 $M$ 的密度为 $m=\frac{(t+1)q}{2}$ ，逐项算：

\frac{p}{m}=\frac{2t}{t+1},\qquad \frac{q}{m}=\frac{2}{t+1},

\begin{aligned} D_{JS}(P\|Q) &=\frac12\int p\log\frac{p}{m} +\frac12\int q\log\frac{q}{m}\\[2pt] &=\int q\,f_{JS}(t)\,dx, \end{aligned}

其中

f_{JS}(t)=\frac12\left[ t\log\frac{2t}{t+1}+\log\frac{2}{t+1}\right].

整理得

\boxed{\; f_{JS}(t)=\frac12\Big[ t\log t-(t+1)\log\frac{t+1}{2}\Big] \;}

它满足 $f_{JS}(1)=\frac12[0-2\log1]=0$ ，且

\begin{aligned} f_{JS}'(t)&=\frac12\log\frac{2t}{t+1},\\[2pt] f_{JS}''(t)&=\frac12\Big( \frac1t-\frac1{t+1}\Big)\\ &\qquad=\frac{1}{2t(t+1)}>0, \end{aligned}

故凸；并且对称 $t f_{JS}(1/t)=f_{JS}(t)$ 。因此当 $P\ll Q$ 时

D_{JS}(P\|Q)=D_{f_{JS}}(P\|Q) =\frac12D_f(P\|M) +\frac12D_f(Q\|M),\qquad(f=t\log t),

两种写法完全一致：JS 既是「两个 f-散度（相对 $M$ ）的平均」，也是「一个对称 f-散度」。原文「不是单一 $D_f$ 」的说法可修正为：在 $P\ll Q$ 时它是单一 $f_{JS}$ 的 f-散度；一般情形则用下面的双变量形式。

一般情形的双变量形式. 当 $P,Q$ 支撑集可能分离时， $(t,f_{JS}(t))$ 的写法会漏掉奇异项。此时把 JS 写成 Csiszár 的双变量（齐次、联合凸）泛函最稳妥：

D_{JS}(P\|Q)=\int \varphi(p,q)\,d\mu,

\varphi(p,q)=\frac12\Big[ p\log\frac{2p}{p+q}+q\log\frac{2q}{p+q}\Big],

$\varphi$ 关于 $(p,q)$ 联合凸且一次齐次。在 $q>0$ 处 $\varphi(tq,q)=q\,f_{JS}(t)$ ，两者一致；在 $q=0,p>0$ 处奇异项 $\frac12 p\log 2$ 会被保留下来（这正是 1.1 节讨论的「支撑不重叠」约定）。

有界性。 注意 $f_{JS}$ 逐点无界（ $t\to\infty$ 时 $f_{JS}(t)\sim\frac12 t\log 2\to\infty$ ），但积分有界，因为 $t$ 大的地方 $q$ 小、权重趋于 0。严格地用两 KL 形式： $2p/(p+q)\le 2\Rightarrow \mathrm{KL}(P\|M)\le\log2$ ，同理 $\mathrm{KL}(Q\|M)\le\log2$ ，故

\begin{aligned} 0\le D_{JS}(P\|Q) &=\frac12\mathrm{KL}(P\|M) +\frac12\mathrm{KL}(Q\|M)\\[2pt] &\le \frac12\log 2+\frac12\log 2 =\log 2\approx 0.693 . \end{aligned}

等号成立当且仅当 $P\perp Q$ （支撑集不重叠）。有界是 JS 相对 KL 的最大优点（梯度消失则是它最大的缺点，二者互为因果）。

意义。 JS 有一个很直观的信息论解释：先掷一枚公平硬币 $Z$ （正反面各 $1/2$ ），正面时从 $P$ 取样、反面时从 $Q$ 取样，得到观测 $X$ ；则 JS 正是「看一眼 $X$ 能否判断硬币正反」所蕴含的信息量，即 $Z$ 与 $X$ 的互信息：

D_{JS}(P\|Q)=I(Z;X)=H(X)-H(X\,|\,Z).

由于 $Z$ 是概率 $1/2$ 的伯努利变量， $I(Z;X)\le H(Z)=\log 2$ ，有界性由此而来， $\log 2$ 恰好对应「最多只能获得 1 比特」这一直觉。JS 对称、有界且 $\sqrt{D_{JS}}$ 仍是度量，因此在文本/分布聚类、模型比较与原始 GAN 目标里被广泛使用；代价同样来自「有界」与上面这个混合结构——真差异越大 JS 越接近饱和的 $\log2$ ，梯度随之消失，这正是 WGAN 等替代方案的动机。

3.3 全变差

取：

f(t)=\frac12|t-1|

则 $f(1)=0$ 且凸（绝对值是凸函数），代入：

D_f(P\|Q) =\frac12\int q\left|\frac{p}{q}-1\right|dx =\frac12\int |p-q|\,dx =D_{TV}(P\|Q).

一般测度上 $D_{TV}(P,Q)=\sup_{A\in\mathcal A}|P(A)-Q(A)|$ ；两个表达式相等（这是全变差的对偶刻画）。注意 $D_{TV}\in[0,1]$ ，总有界。

斜共轭： $t\cdot\frac12|\frac1t-1|=\frac12|1-t|=f(t)$ ，所以 TV 是对称的。

意义。 全变差是概率测度空间上真正的度量（对称、满足三角不等式），它等于两个分布在一件事上能给出的最大概率差：

D_{TV}(P,Q) =\sup_{A\in\mathcal A}\big|P(A)-Q(A)\big| .

它还有一个判决论解释：在等先验下用最优检验区分 $P$ 与 $Q$ 时，最小平均错误率为 $\tfrac12\big(1-D_{TV}\big)$ ，因此 TV 直接度量了可分性，「TV 小」就等于「几乎分不开」。TV 是这里所有 f-散度中最「弱」的标尺（总在 $[0,1]$ 内），但按 Csiszár 定理它与 KL 诱导同一个拓扑，所以常常已经够用；在一维实直线上它退化为 Kolmogorov 距离 $D_{TV}=\sup_x|F_P(x)-F_Q(x)|$ 。马尔可夫链的混合时间、耦合构造与统计距离（total variation distance）都以它为核心。

3.4 卡方散度

取：

f(t)=(t-1)^2

则 $f(1)=0$ 、凸，代入：

D_f(P\|Q)=\int q\left(\frac{p}{q}-1\right)^2dx =\int \frac{(p-q)^2}{q}\,dx =\chi^2(P\|Q)

这是皮尔逊（Pearson）卡方散度。它非对称、无界。其斜共轭是

t\,f(1/t)=t\left(\frac1t-1\right)^2 =\frac{(t-1)^2}{t},

对应 Neyman 卡方散度 $\chi_N^2(P\|Q)=\int\frac{(q-p)^2}{p}\,dx$ ，即 $\chi^2(Q\|P)$ ：皮尔逊卡方的"反向兄弟"。

卡方散度的重要性在于它是「二阶」散度：小偏差下（ $\frac{p}{q}=1+\varepsilon h$ 展开）有 $\mathrm{KL}\approx\frac12\chi^2$ 、本文约定的 $\int(\sqrt p-\sqrt q)^2\approx\frac14\chi^2$ 、Bhattacharyya 约定的 $H^2=1-BC\approx\frac18\chi^2$ （见 4.6 节的局部展开），因此它是所有 f-散度在局部的「公因子」——只是在 $f''(1)$ 意义下的「单位」不同。

意义。 卡方散度是 Pearson 拟合优度统计量 $\sum_i\frac{(O_i-E_i)^2}{E_i}$ 的总体（无限样本）版本：把观测频率看作 $P$ 、期望频率看作 $Q$ ， $\chi^2(P\|Q)$ 就是「 $P$ 是否来自 $Q$ 」的标准化偏差，因此它是独立性检验、拟合优度检验与特征选择的自然尺度。它的分母 $q$ 使它对「 $Q$ 很小而 $P$ 不小」的稀有区域极度敏感（尾部敏感）：这既是它能捕捉稀有事件的优点，也是它容易被少量异常值带偏的缺点。在 f-GAN 家族里它对应最小二乘 GAN（LSGAN）：因为 $f^*(y)=y+y^2/4$ 是二次的，判别器梯度不会像 JS 那样饱和；在鲁棒统计与核方法中， $\chi^2$ 距离还给出了带权核的另一种「局部」相似度。

3.5 Hellinger 平方

取：

f(t)=(\sqrt{t}-1)^2

则 $f(1)=0$ 、 $f''(t)=\frac{1}{2t^{3/2}}>0$ 凸，代入：

D_f(P\|Q) =\int q\left(\sqrt{\frac{p}{q}}-1\right)^2dx =\int (\sqrt{p}-\sqrt{q})^2\,dx .

记 Bhattacharyya 系数 $BC(P,Q)=\int\sqrt{pq}\,dx$ ，则

\int(\sqrt p-\sqrt q)^2 =\int p+\int q-2\int\sqrt{pq} =2\big(1-BC\big).

文献里对 $H^2$ 有两种约定：

\begin{aligned} H^2_{\text{Bhattacharyya}}&=1-BC,\\[2pt] H^2_{\text{this}\,f}&=2(1-BC) =2H^2_{\text{Bhattacharyya}} . \end{aligned}

本文采用 $f(t)=(\sqrt t-1)^2$ ，故 $D_f=2H^2_{\text{Bhattacharyya}}=\int(\sqrt p-\sqrt q)^2$ 。注意 $H^2$ 有界（ $\le 2$ ）。对称性可直接验算：

\begin{aligned} t\,f(1/t) &=t\left(\frac{1}{\sqrt t}-1\right)^2\\ &=t\Big(\frac1t-\frac{2}{\sqrt t}+1\Big)\\[2pt] &=1-2\sqrt t+t=(\sqrt t-1)^2=f(t), \end{aligned}

即 $f^{*}_{skew}=f$ ，所以 Hellinger $^2$ 也满足对称判别准则（4.3 节）。

意义。 Hellinger 与 Bhattacharyya 系数 $BC=\int\sqrt{pq}$ 把「两个分布的重叠程度」量化： $BC=1$ 表示完全重合， $BC=0$ 表示支撑分离。由它可造出真正的距离 $\rho(P,Q)=\sqrt{2-2BC}$ ，而且它对绝对连续性不作要求，支撑分离时也只取到有限的最大值 $2$ ，不会像 KL 那样发散——这让它在数值与统计上格外稳健。Hellinger 距离与 Fisher 信息度量在无穷小尺度上相容（4.6 节），并在非参数估计的 Le Cam 三点法、量子信息中的保真度（fidelity）、以及 Hellinger–Fisher–Rao 几何里扮演中心角色。

3.6 α-散度

对 $\alpha\in(-1,1)$ ，取

f_\alpha(t)=\frac{4}{1-\alpha^2} \left(1-t^{(1+\alpha)/2}\right).

代入模板，记 $a=\frac{1+\alpha}{2}\in(0,1)$ （于是 $\frac{4}{1-\alpha^2}=\frac{1}{a(1-a)}$ ）：

D_\alpha(P\|Q)=\frac{1}{a(1-a)} \left(1-\int p^{a}q^{1-a}\,dx\right).

这正是 Csiszár / Amari 的 α-散度（差一个参数重命名）。 $a=1/2$ 时 $\frac{1}{a(1-a)}=4$ ：

D_{\alpha=0}(P\|Q)=4\left(1-BC\right) =4H^2_{\text{Bhattacharyya}},

即 $\alpha=0$ 是 Hellinger 型散度。两个端点极限要小心： $f_\alpha$ 在 $\alpha\to\pm1$ 时逐点发散，但散度值收敛到 KL：

\lim_{\alpha\to1}D_\alpha(P\|Q)=D_{KL}(P\|Q), \qquad \lim_{\alpha\to-1}D_\alpha(P\|Q)=D_{KL}(Q\|P).

推导 $\alpha\to1$ 的极限。 令 $a=1-\delta$ ， $\delta=\frac{1-\alpha}{2}\to0$ 。用 $x^{1-\delta}=x\,e^{-\delta\log x}\approx x(1-\delta\log x)$ ：

\int p^{1-\delta}q^{\delta} \approx\int p\Big(1-\delta\log\frac{p}{q}\Big)dx =1-\delta\,D_{KL}(P\|Q),

于是

\begin{aligned} D_\alpha &=\frac{1}{a(1-a)} \big(\delta D_{KL}(P\|Q)\big)\\[2pt] &=\frac{1}{(1-\delta)\delta} \cdot\delta D_{KL}(P\|Q)\\ &\qquad\xrightarrow[\delta\to0]{}D_{KL}(P\|Q). \end{aligned}

$\alpha\to-1$ 对称地给出反向 KL。所以 α-散度把 KL（两个方向）与 Hellinger 连成一条曲线， $\alpha$ 是「在对称与不对称之间连续插值」的旋钮。

意义。 α-散度的价值在于它把「方向」与「强度」一并参数化： $\alpha$ 从 $-1$ 扫到 $1$ 时，散度由反向 KL（mode-seeking）连续过渡到正向 KL（mass-covering），中间在 $\alpha=0$ 处恰好经过 Hellinger 这个对称点。在 Amari 的信息几何里，α-族是唯一同时拥有 $\alpha$ -对偶平坦结构的单参数散度族：它诱导的度量是 Fisher 度量，诱导的仿射联络是 $\alpha$ -联络，这正是它被称为「散度范本」的原因。在机器学习中， $\alpha$ -GAN 与 $\alpha$ -VI 用一个参数调节「对异常值的鲁棒性」与「模式覆盖」之间的取舍；在信号处理中它用于独立成分分析（ICA）与鲁棒估计。

3.7 与 Rényi 散度的关系

Rényi 散度定义为

\begin{aligned} D^{R}_{\alpha}(P\|Q) &=\frac{1}{\alpha-1} \log\int p^{\alpha}q^{1-\alpha}\,dx,\\[2pt] &\qquad \alpha>0,\ \alpha\ne1 . \end{aligned}

它不是（直接的）f-散度，因为 $\log$ 包在积分外面（这正是它满足可乘可加性、但一般不满足数据处理不等式的根源： $\alpha>1$ 的 Rényi 散度可以在随机变换下增大）。它与 α-散度是"同一积分的两种包装"：沿用 3.6 节的指数记号 $a=\frac{1+\alpha}{2}\in(0,1)$ ， $Z_a=\int p^{a}q^{1-a}\,dx$ ，则 3.6 节给出

Z_a=1-a(1-a)\,D_\alpha ,

而把 Rényi 的阶数取为 $a$ （注意 order $\neq$ 3.6 的参数 $\alpha$ ，只是经过线性换算）：

D^{R}_{a}(P\|Q)=\frac{1}{a-1}\log Z_a =-\frac{1}{1-a}\,\log\big(1-a(1-a)D_\alpha\big).

这说明两者是一条"幂—对数"的两级包装链：f-散度是对似然比幂 $\big(\frac pq\big)^a$ 做 $Q$ 下的线性平均，Rényi 在外面再套一层对数。所以 f-散度族与 Rényi 族"同源"：后者是前者经 $\log$ 变换后的"信息量"版本。

意义。 Rényi 散度在假设检验中直接就是误差指数：Chernoff 信息

C(P,Q)=\sup_{0<\lambda<1} (1-\lambda)D^{R}_{\lambda}(P\|Q) =-\log\min_{0\le\lambda\le1} \int p^\lambda q^{1-\lambda}

决定对称检验错误概率的衰减速率，Stein 引理给出的单侧指数则是 $D^{R}_{1}=D_{KL}$ 。对应的 Rényi 熵 $H_\alpha$ 在 $\alpha\to1$ 时退化为 Shannon 熵、在 $\alpha\to\infty$ 时退化为 min-entropy $-\log\max_x p(x)$ ，因此在密码学、随机性提取与 Rényi 差分隐私（RDP） 中被用来对隐私预算做更紧致的记账。它与 f-散度族的"同源"关系也给出一条实用经验：讨论可加性、信息几何与变分表示时用 f-散度更顺手，讨论误差指数与熵时用它的对数版本更自然。

3.8 汇总表

散度	$f(t)$	对称	有界	$\lim$ 行为（不重叠支撑）
KL $D_{KL}(P\\|Q)$	$t\log t$	否	否	$+\infty$
反向 KL $D_{KL}(Q\\|P)$	$-\log t$	否	否	$+\infty$
Jeffreys（对称 KL）	$(t-1)\log t$	是	否	$+\infty$
JS	$\frac12[t\log t-(t+1)\log\frac{t+1}{2}]$	是	是（ $\le\log2$ ）	$\log 2$
全变差 TV	$\frac12\lvert t-1\rvert$	是	是（ $\le1$ ）	$1$
Pearson $\chi^2$	$(t-1)^2$	否	否	$+\infty$
Neyman $\chi^2_N$	$\frac{(t-1)^2}{t}$	否	否	$+\infty$
Hellinger $^2$ （本文约定）	$(\sqrt t-1)^2$	是	是（ $\le2$ ）	$2$
α-散度 $\alpha\in(-1,1)$	$\frac{4}{1-\alpha^2}(1-t^{(1+\alpha)/2})$	否	否	有限（ $\alpha\ne\pm1$ ）

4. 基本性质

下列性质逐个给出推导。约定 $P,Q\ll\mu$ （ $\mu=\frac12(P+Q)$ 或任一控制测度）， $t=dP/dQ$ 。

4.1 非负性

命题 4.1（非负性） 对一切概率分布 $P,Q$ ，
$D_f(P\|Q)\ge 0,$
且当 $f$ 严格凸时，等号成立当且仅当 $P=Q$ 。

证明。 Jensen 已给出 $\ge$ （见 2.1）。等号条件：若 $f$ 严格凸，Jensen 取等号当且仅当 $t=\mathbb E_Q[t]=1$ 在 $Q$ 下几乎必然成立，即 $P=Q$ 。若 $f$ 只是凸而非严格凸（如 $f(t)=\frac12|t-1|$ ），则只能保证 $D_f=0$ 时不必然 $P=Q$ ：TV 是反例， $P=Q$ 时才是唯一使 TV 为 0 的一对（TV 也对）。

4.2 联合凸性

命题 4.2（联合凸性） 若 $P=\lambda P_1+(1-\lambda)P_2$ ， $Q=\lambda Q_1+(1-\lambda)Q_2$ ， $\lambda\in[0,1]$ ，则
$D_f(P\|Q) \le \lambda D_f(P_1\|Q_1) +(1-\lambda)D_f(P_2\|Q_2).$

证明。 这是 $f$ 凸性加上「 $\sup$ 与线性运算」的标准结果，也可用 f-散度的变分表示（4.4 节）直接看： $D_f(P\|Q)=\sup_g\{\mathbb E_P[g]-\mathbb E_Q[f^*(g)]\}$ ，右端关于 $(P,Q)$ 是凸的（ $\mathbb E_P[g]$ 线性、 $-\mathbb E_Q[f^*(g)]$ 线性），取上确界后仍凸。

等价地，固定 $Q$ ， $P\mapsto D_f(P\|Q)$ 凸；固定 $P$ ， $Q\mapsto D_f(P\|Q)$ 凸。注意： $Q\mapsto D_f(P\|Q)$ 凸是「以 $Q$ 为参照」的凸性，它与「 $Q$ 出现在分母上」的直觉相反，这个凸性正是变分推断里「对 $q$ 做平均场优化收敛到全局最优」的根据之一。

4.3 斜对称关系

定义 4.1（斜共轭） 对 $f:[0,\infty)\to\mathbb R$ ，称
$f^{*}_{skew}(t)=t\,f(1/t),\qquad t>0$
为 $f$ 的斜共轭。

命题 4.3（斜对称） 对任意概率分布 $P,Q$ ，
$D_f(P\|Q)=D_{f^{*}_{skew}}(Q\|P).$

证明。 设 $s=dQ/dP=1/t$ 。则

\begin{aligned} D_f(P\|Q)&=\int f(t)\,dQ =\int f\!\left(\frac1s\right) s\,dP\\ &=\int f^{*}_{skew}(s)\,dP =D_{f^{*}_{skew}}(Q\|P).\qquad\square \end{aligned}

推论（对称判别准则）。 $D_f$ 对称（ $D_f(P\|Q)=D_f(Q\|P)$ 对所有 $P,Q$ ）当且仅当 $f^{*}_{skew}=f$ （模去 $c(t-1)$ ）。验证 TV： $t\cdot\frac12|1/t-1|=\frac12|t-1|$ ；JS 的 $t f(1/t)=f(t)$ 也已验算；KL 显然不满足，故不对称。

4.4 变分表示

定理 4.1（变分表示 / Fenchel 对偶） 设 $f^*$ 为 $f$ 的凸共轭（Fenchel 共轭）
$f^*(y)=\sup_{t\ge0}\{yt-f(t)\},$
则
$D_f(P\|Q)=\sup_{g} \left\{\mathbb E_P[g] -\mathbb E_Q[f^*(g)]\right\},$
其中上确界取遍所有使两个期望都有定义的可测函数 $g:\mathcal X\to\operatorname{dom} f^*$ 。

证明（Fenchel 对偶）。 由共轭函数的性质（Fenchel–Moreau， $f$ 凸闭），

f(t)=\sup_{y}\{yt-f^*(y)\}, \qquad \forall t\ge0 .

把 $t=\frac{dP}{dQ}$ 代入并对 $Q$ 积分：

\begin{aligned} D_f(P\|Q) &=\int \sup_y\Big\{y\,\frac{dP}{dQ} -f^*(y)\Big\}dQ\\ &\ \ge\ \sup_y\int\Big\{y\,\frac{dP}{dQ} -f^*(y)\Big\}dQ\\ &=\sup_y\big\{\mathbb E_P[y] -\mathbb E_Q[f^*(y)]\big\}. \end{aligned}

这里只能得到 $\ge$ ，因为「积分的上确界 ≥ 上确界的积分」。反向不等式需要一个可测选择/极大值论证：由于 $f$ 凸， $f(t)=\sup_y\{yt-f^*(y)\}$ 中的 $y$ 可取为 $f'(t)$ （在可微点），而 $t\mapsto f'(t)$ 单调，于是 $g^*(x):=f'(t(x))$ 是可测的，并且对每个 $x$ 达到上确界。于是不等式取等号。

最优解。 达到上确界的函数为

g^*(x)=f'\!\left(\frac{dP}{dQ}(x)\right),

条件是 $f$ 在 $t$ 处可微、且 $g^*$ 落在 $\operatorname{dom} f^*$ 内。例如 KL（ $f'=\log t+1$ ）： $g^*=\log\frac{p}{q}+1$ ；这解释了为什么「对判别器做 log 密度比」是 f-GAN 的最佳策略。

常用 $f^*$ 表（结合 $\int dP=\int dQ=1$ 可加任意常数 $c$ ）：

$f(t)$	$f^*(y)$	$\operatorname{dom} f^*$	对应 GAN 损失
$t\log t$ （KL）	$e^{y-1}$	$\mathbb R$	MINE-f / f-GAN
$-\log t$ （反向 KL）	$-1-\log(-y)$	$y<0$	$\alpha=0$ 端
$\frac12[t\log t-(t+1)\log\frac{t+1}{2}]$ （JS）	$-\frac12\log(2-e^{2y})$	$y<\frac{\log2}{2}$	原始 GAN
$\frac12\lvert t-1\rvert$ （TV）	$y$	$\lvert y\rvert\le\frac12$	—
$(t-1)^2$ （ $\chi^2$ ）	$y+\frac{y^2}{4}$	$\mathbb R$	LSGAN
$(\sqrt t-1)^2$ （Hellinger²）	$\frac{y}{1-y}$	$y<1$	—

以 $\chi^2$ 为例验证： $f^*(y)=\sup_t\{ty-(t-1)^2\}$ ，驻点 $y=2(t-1)\Rightarrow t=1+y/2$ ，得 $f^*=y(1+y/2)-y^2/4=y+y^2/4$ 。以 Hellinger² 为例： $f(t)=t-2\sqrt t+1$ ，令 $u=\sqrt t\ge0$ ，把共轭写成有限上确界

f^*(y)=\sup_{u\ge0}\Big\{(y-1)u^2+2u-1\Big\},

当 $y\ge1$ 时上确界为 $+\infty$ ；当 $y<1$ 时上式是开口向下的二次函数，最大点 $u=\dfrac{1}{1-y}$ ，代回得

f^*(y)=\frac{y-1}{(1-y)^2}+2\frac{1}{1-y}-1 =\frac{y}{1-y},\qquad y<1 .

顺带把 JS 的共轭也完整算出（它是表中最容易出错的一个）： $f_{JS}(t)=\frac12[t\log t-(t+1)\log\frac{t+1}{2}]$ ， $f_{JS}'(t)=\frac12\log\frac{2t}{t+1}$ 。令 $y=f_{JS}'(t)$ ，即 $e^{2y}=\frac{2t}{t+1}$ ，解得 $t=\dfrac{e^{2y}}{2-e^{2y}}$ （这要求 $e^{2y}<2$ ，即 $y<\frac{\log2}{2}$ ）。于是 $\log\frac{t+1}{2}=-\log(2-e^{2y})$ ，代入

\begin{aligned} f^*(y)&=yt-f_{JS}(t)\\ &=\frac{t}{2}\log\big(2-e^{2y}\big) -\frac{t+1}{2}\log\big(2-e^{2y}\big)\\ &=-\frac12\log\!\big(2-e^{2y}\big). \end{aligned}

TV 的共轭也很干净： $f^*(y)=\sup_{t\ge0}\{yt-\frac12|t-1|\}$ 。在 $t\le1$ 一侧， $yt-\frac{1-t}{2}=t(y+\frac12)-\frac12$ ；在 $t\ge1$ 一侧， $yt-\frac{t-1}{2}=t(y-\frac12)+\frac12$ 。两段都是线性的：当 $\lvert y\rvert\le\frac12$ 时两段的最大值都在 $t=1$ 取到，为 $y$ ；当 $y>\frac12$ 时第二段严格递增，上确界为 $+\infty$ ；当 $y<-\frac12$ 时第一段严格递减，上确界在 $t=0$ 取到，为 $-\frac12$ 。于是

f^*(y)= \begin{cases} y, & \lvert y\rvert\le\frac12,\\[2pt] -\frac12, & y\le-\frac12,\\[2pt] +\infty, & y>\frac12. \end{cases}

这正对应经典表示

D_{TV}(P,Q)=\sup_{\lVert g\rVert_\infty\le1} \big\{\mathbb E_P[g]-\mathbb E_Q[g]\big\}

的 Kantorovich 型对偶。

这个对偶表示在机器学习中非常有用，例如 f-GAN 就是基于此构造的（第 5 节详述）。

4.5 数据处理不等式

命题 4.4（数据处理不等式） 设 $K$ 是一个马尔可夫核（随机变换），记 $PK$ 、 $QK$ 为输出分布，则
$D_f(PK\|QK)\le D_f(P\|Q).$

证明（条件 Jensen）。 设 $Y\sim QK$ ， $X\sim Q$ ， $Y|X\sim K(\cdot|X)$ 。若 $P\ll Q$ 则 $PK\ll QK$ ，且对任意可测集 $A$ ：

\begin{aligned} PK(A) &=\int K(A|x)\,t(x)\,dQ(x)\\[2pt] &=\mathbb E_Q\big[t(X)\, \mathbf 1_{\{Y\in A\}}\big]\\ &=\mathbb E_{QK}\Big[ \mathbb E_Q\big[t(X)\,\big|\,Y\big]\, \mathbf 1_A\Big], \end{aligned}

故

\frac{dPK}{dQK}(y) =\mathbb E_Q\big[t(X)\,\big|\,Y=y\big]. \tag{$\star$}

由 $f$ 凸及条件 Jensen：

f\!\left(\frac{dPK}{dQK}(y)\right) =f\Big(\mathbb E_Q[t\,|\,Y=y]\Big) \le \mathbb E_Q\big[f(t)\,\big|\,Y=y\big].

对 $y$ 关于 $QK$ 积分：

\begin{aligned} D_f(PK\|QK) &=\mathbb E_{QK}\Big[ f\big(\mathbb E_Q[t|Y]\big)\Big]\\ &\le \mathbb E_{QK}\Big[ \mathbb E_Q[f(t)|Y]\Big]\\ &=\mathbb E_Q[f(t)]=D_f(P\|Q).\qquad\square \end{aligned}

等号条件。 若 $f$ 严格凸，等号成立当且仅当 $\mathbb E_Q[t|Y]$ 本身是 $\sigma(Y)$ -可测的（对每个 $y$ 是常数），即 $t=dP/dQ$ 可表为 $Y$ 的函数。此时 $Y$ 是关于 $P,Q$ 的充分统计量：随机变换没有丢信息。这正是 f-散度能担当「信息量」的原因。

信息单调性（Csiszár 的更进一步结果）。 对 α-散度族，还有更强的「信息单调性」：把 $P,Q$ 粗粒化（把样本空间划分得更粗）时散度不增，且存在严格单调的「信息序」。这构成了 Chentsov–Morozova 定理与信息几何中单调度量的基础。

4.6 局部二次展开

命题 4.5（局部二次展开） 设 $h$ 满足 $\int h\,dP=0$ 、 $\int h^2\,dP<\infty$ ，令 $dQ_\varepsilon=(1+\varepsilon h)\,dP$ ，则当 $\varepsilon\to0$ 时
$D_f(Q_\varepsilon\|P) =\frac{f''(1)}{2}\,\varepsilon^{2}\! \int h^{2}\,dP +O(\varepsilon^{3}).$

证明。 记 $t=dQ_\varepsilon/dP=1+\varepsilon h$ ，由 $f(1)=0$ 、 $\int h\,dP=0$ 做 Taylor 展开：

\begin{aligned} D_f(Q_\varepsilon\|P) &=\mathbb E_P\big[f(1+\varepsilon h)\big]\\[2pt] &=\underbrace{f(1)}_{0} +\varepsilon f'(1) \underbrace{\mathbb E_P[h]}_{0}\\ &\qquad+\frac{\varepsilon^2}{2}f''(1)\, \mathbb E_P[h^2] +O(\varepsilon^3). \end{aligned}

这说明：在无穷小尺度上，所有 f-散度都只差一个常数 $f''(1)$ ，形状完全一致。 取 $f(t)=t\log t$ （ $f''(1)=1$ ）即得 $D_{KL}\approx\frac12\chi^2$ ；取 $f(t)=(\sqrt t-1)^2$ （ $f''(1)=\frac12$ ）即得 $\int(\sqrt p-\sqrt q)^2\approx\frac14\chi^2$ ，除以 2 或换算成 $1-BC$ 就是 3.4 节引用的 Bhattacharyya 约定 $H^2\approx\frac18\chi^2$ 。共同因子 $\varepsilon^2\int h^2 dP=\chi^2(Q_\varepsilon\|P)$ 就是Fisher 信息度量：它给出统计流形上的黎曼度量，而 $f''(1)$ 只是「单位选择」。这也解释了为什么 GAN 中「选 JS 还是选 KL」在小偏差区几乎无差别，差别只在远离平衡或支撑不重叠时才显现。

4.7 不等式网络

命题 4.6（不等式网络） 记 $H^2=H^2_{\text{Bhattacharyya}}=1-BC$ ，则对概率测度有
$\begin{aligned} &\mathrm{Pinsker:}\\ &\qquad D_{TV}(P,Q)\le \sqrt{\tfrac12 D_{KL}(P\|Q)}, \end{aligned}$ $\begin{aligned} &\mathrm{Bretagnolle\text{–}Huber:}\\ &\qquad H^2(P,Q)\le \tfrac12 D_{KL}(P\|Q), \end{aligned}$ $\begin{aligned} &D_{TV}(P,Q)\le\sqrt{H^2(2-H^2)} \le\sqrt{2H^2}\\ &\qquad\le\sqrt{D_{KL}(P\|Q)} . \end{aligned}$

Pinsker 的完整推导（Vajda 型两步法）。 分三步：

第 1 步（数据处理到二元划分）。 对任一事件 $A$ ，把样本空间经确定性映射 $x\mapsto\mathbf 1_A(x)$ 压成两个点，用 4.5 节的 DPI：

D_{KL}(P\|Q)\ \ge\ D_{KL}\big(\mathrm{Bern}(\alpha)\,\|\, \mathrm{Bern}(\beta)\big), \qquad \alpha=P(A),\ \beta=Q(A).

第 2 步（二元问题的精确最小值）。 固定差 $\delta=\alpha-\beta\ge0$ （目标 TV 值），对 $\alpha$ 最小化二元 KL。取对称中心 $\alpha=\frac{1+\delta}{2}$ 、 $\beta=\frac{1-\delta}{2}$ ，此时 $1-\alpha=\beta$ 、 $1-\beta=\alpha$ ，算得

\begin{aligned} &D_{KL}\Big(\mathrm{Bern} \Big(\tfrac{1+\delta}2\Big)\Big)\\ &\qquad\Big\|\mathrm{Bern} \Big(\tfrac{1-\delta}2\Big)\Big)\\ &=\alpha\log\tfrac{\alpha}{\beta} +\beta\log\tfrac{\beta}{\alpha} =(\alpha-\beta)\,\log\tfrac{\alpha}{\beta}\\ &=\delta\,\log\tfrac{1+\delta}{1-\delta} =:\,h(\delta). \end{aligned}

由标签交换的对称性 $\varphi(\alpha)=\varphi(1-\alpha+\delta)$ 、边界值更大（ $\alpha\to\delta^+$ 时不平衡质量挤出 $\infty$ ； $\alpha\to1$ 时值为 $-\log(1-\delta)$ ，均大于中心值）可得：唯一驻点在 $\alpha=\frac{1+\delta}{2}$ ，且是精确最小值（Vajda 界）： $D_{KL}(P\|Q)\ge h(\mathrm{TV}(P,Q))$ ，其中 $h(\delta)=\delta\log\frac{1+\delta}{1-\delta}$ 在 $\delta\to1$ 时发散（与 KL 在支撑分离时为 $\infty$ 一致）。

第 3 步（初等放缩）。 由

\log\frac{1+\delta}{1-\delta} =2\left(\delta+\frac{\delta^3}3 +\frac{\delta^5}5+\cdots\right) \ge 2\delta,

\begin{aligned} &D_{KL}(P\|Q)\ \ge\ h(\mathrm{TV}) \ \ge\ 2\,\mathrm{TV}(P,Q)^2 ,\\[2pt] &\text{即}\quad \mathrm{TV}(P,Q)\ \le\ \sqrt{\tfrac12 D_{KL}(P\|Q)} .\ \square \end{aligned}

关于常数： Pinsker 不等式中的 $\tfrac12$ （即 $\mathrm{KL}\ge2\,\mathrm{TV}^2$ 的系数 2）是最优的：取两分布仅在极小 $\varepsilon$ 上偏离最优对称配置，可让 $h(\delta)\big/\delta^2\to 2$ （ $\delta\to0$ ），故常数不能改进。

顺便指出：对一般 f-散度也有平行的"固定 TV 时最小化 $D_f$ "函数（Fedotov–Harremoës 2003 给出完整刻画），即每个 f-散度都自带一个 TV 的下界函数；这是 4.7 末拓扑结论的定量基础。

Bretagnolle–Huber 的推导。 由 Rényi 散度在阶数 $\alpha$ 上单调不减（Hölder 不等式的直接推论），

D_{KL}(P\|Q)=D^{R}_{1}(P\|Q) \ \ge\ D^{R}_{1/2}(P\|Q)=-2\log BC .

又由 $-\log x\ge 1-x$ （ $x>0$ ）， $-2\log BC\ge 2(1-BC)=2H^2$ 。合并即得

H^2\le \tfrac12 D_{KL}(P\|Q). \qquad\square

顺便验证与 4.6 节一致：小偏差时 $D_{KL}\approx\frac12\chi^2$ 、 $H^2\approx\frac18\chi^2$ ，于是 $H^2\approx\frac14 D_{KL}\le\frac12 D_{KL}$ ，不等式成立且留有余量。

TV 与 $H^2$ 的关系。 由 Cauchy–Schwarz，

\begin{aligned} 2\,\mathrm{TV} &=\int|\sqrt p-\sqrt q|\;|\sqrt p+\sqrt q|\,dx\\ &\le\sqrt{\int(\sqrt p-\sqrt q)^2} \cdot\sqrt{\int(\sqrt p+\sqrt q)^2}\\ &=\sqrt{2H^2}\cdot\sqrt{2(1+BC)} =\sqrt{4H^2(2-H^2)}, \end{aligned}

故 $\mathrm{TV}\le\sqrt{H^2(2-H^2)}$ ，再与 $H^2\le\frac12 D_{KL}$ 串起来就有 $\mathrm{TV}\le\sqrt{D_{KL}}$ （比 Pinsker 常数差一个 $\sqrt2$ ）。

定理 4.2（拓扑关系的准确版） 设 $f$ 凸、 $f(1)=0$ 且在 $(0,\infty)$ 上连续。
(a)（"下来"方向，一般成立） $D_f(P_n\|Q)\to0\ \Longrightarrow\ D_{TV}(P_n,Q)\to0$ 。每个适度正则的 f-散度都自带一个连续的 TV 下界函数 $g_f$ （Vajda / Fedotov–Harremoës）， $g_f(0)=0$ 、 $g_f(t)>0\ (t>0)$ ，使 $D_f\ge g_f(\mathrm{TV})$ ；常用成员的具体形式：KL 给 $2\,\mathrm{TV}^2\le D_{KL}$ （Pinsker）， $\chi^2$ 给 $\chi^2\ge4\,\mathrm{TV}^2$ ，Hellinger $^2$ 经由 $\mathrm{TV}\le\sqrt{H^2(2-H^2)}\le\sqrt{2H^2}$ ，TV 本身平凡。
(b)（"上去"方向，需要条件） $D_{TV}(P_n,Q)\to0\ \Longrightarrow\ D_f(P_n\|Q)\to0$ 一般不成立。反例：在 $[0,1]$ 上取 $p\equiv1$ ， $q_n=(1-\delta_n)p+\delta_n\,\mathrm{Unif}[0,\varepsilon_n]$ ，取 $\delta_n=\tfrac1{\ln n}$ 、 $\varepsilon_n=e^{-n}$ 。则 $\mathrm{TV}(q_n,p)\approx\delta_n\to0$ ，但 $\mathrm{KL}(q_n\|p)\gtrsim \delta_n\cdot n\to\infty$ 。反例的机制很典型：TV 只控制"总质量差"，控制不了小测度集合上密度的巨大尖峰，而 KL 对小分母极其敏感——这正是 KL/χ² "无界"分歧的拓扑体现。
(c)（有限字母表/一致比值界下，全部等价） 若似然比一致有界（例如： $Q$ 在有限字母表上且 $q(x)>0$ 对所有 $x\in\operatorname{supp}P$ ——此时 $t=\frac{p}{q}\le t_{\max}<\infty$ ），则
$\begin{aligned} &D_f(P_n\|Q)\to0 \iff\mathrm{TV}(P_n,Q)\to0\\ &\qquad\iff D_{KL}(P_n\|Q)\to0 \end{aligned}$
对一切上述 $f$ 同时成立（上界方向由 $|f(t)-f(1)|\le C|t-1|$ 于 $t\in[1/t_{\min},\,t_{\max}]$ 的一致 Lipschitz 性给出）。

也就是说，"所有 f-散度诱导同一拓扑"必须在有限/紧设定或一致比值界下读：此时它们都等价于全变差拓扑（也叫强拓扑），只是"度量标尺"不同；而在一般测度空间上，KL 型拓扑严格强于 TV 拓扑。这一分层对理解第 6 节 f-散度与 Wasserstein 的真正差异很重要：f-散度族的内部差异是"强度"差异，而它们与 Wasserstein 的差异是"性质"差异。

4.8 一般不是度量

f-散度一般不对称，也不满足三角不等式，因此通常不是距离度量。但某些特殊形式可以诱导出度量：

Hellinger 距离是度量： $\rho_H(P,Q) =\sqrt{\tfrac12\int(\sqrt p-\sqrt q)^2\,dx} =\sqrt{1-BC} =\sqrt{2-2H^2_{\text{Bhattacharyya}}}.$
它有一个特别漂亮的几何解释：把分布 $P$ 映到单位球面上的点 $\sqrt p$ （因 $\big\lVert\sqrt p\big\rVert_2^2=\int p=1$ ），则 $\rho_H(P,Q)=\tfrac{1}{\sqrt2}\lVert\sqrt p-\sqrt q\rVert_2$ 就是单位球面上的欧氏距离——度量公理（对称、三角不等式）由 $L^2$ 距离直接继承，非退化由"开平方是单射"保证；
$\sqrt{2\,D_{JS}}$ （等价地 $\sqrt{D_{f_{JS}}}$ 规范化后）是度量（Endres–Schindelin 的结论），其证明用到了 $f_{JS}$ 对应生成元的"负定型"性质。

反过来，不对称显然排除度量；即使对称， $\sqrt{D_f}$ 也不自动是度量。例如全变差 $D_{TV}$ 本身就是度量，但若取某凸积 $f$ 的散度再做开方，三角不等式可能失效——这依赖 $f$ 是否落在"负定（negative type）"函数类中；不是自动成立的。

与度量的对照结论： f-散度的正确身份是散度（divergence）：非负、在 $P=Q$ 处取零，但不要求对称与三角不等式。当我们需要真距离时（例如做收敛分析、中心化、 $k$ -中心聚类），就从 f-散度族里挑那些 $\sqrt{\cdot}$ 后成为度量的成员（Hellinger、JS、TV），或干脆换成真正的度量类（第 6 节的 IPM）。

5. 变分表示与 f-GAN

5.1 可训练目标

4.4 节给出精确对偶：

D_f(P\|Q) =\sup_{g}\Big\{\mathbb E_P[g(X)] -\mathbb E_Q[f^*(g(X))]\Big\}.

当 $P$ 是数据分布、 $Q$ 是生成分布时，右端可直接用两批样本做蒙特卡洛估计，得到 $D_f$ 的一个下界，并用一个网络 $g_\omega$ 逼近最优解。于是

\widehat D_f(P\|Q;g_\omega) =\frac1n\sum_{i=1}^n g_\omega(x_i) -\frac1m\sum_{j=1}^m f^*(g_\omega(y_j)).

对 $\omega$ 极大化即得估计；把 $Q=Q_\theta$ （生成器）同时放进去，就得到 f-GAN 的 minimax 目标：

\min_\theta\ \max_\omega\ \Big\{\mathbb E_{P}[g_\omega(X)] -\mathbb E_{Q_\theta}[f^*(g_\omega(X))]\Big\}.

5.2 最优判别器

命题 5.1（最优判别器） 在 5.1 节的 minimax 目标中，固定 $P,Q$ 时内层对 $g$ 的最优解为
$g^*(x)=f'\!\left(\frac{p(x)}{q(x)}\right),$
即判别器学到的量是似然比经 $f'$ 之后的取值。

证明。 目标对 $g(x)$ 的逐点依赖是 $p(x)g(x)-q(x)f^*(g(x))$ ，对 $g(x)$ 求导：

p(x)-q(x)\,f^{*\prime}(g(x))=0 \ \Longrightarrow\ f^{*\prime}(g^*(x))=\frac{p(x)}{q(x)}=t .

由于 $(f^*)'=(f')^{-1}$ （Fenchel 的互逆关系），即得 $g^*(x)=f'(t(x))$ 。把 $g^*$ 代回即得 $D_f(P\|Q)$ （这正是定理 4.1 所给的最优解）。实践含义： 判别器网络 $g_\omega$ 学的是 $f'(\text{似然比})$ ，而不是似然比本身；不同 $f$ 等价于对似然比做了不同的单调「整形」，因此决定了梯度的尺度与饱和方式。

5.3 各散度的 GAN 目标

取上表的 $f^*$ ：

KL（ $f^*=e^{y-1}$ ）：

D_{KL}(P\|Q) =\sup_g\Big\{\mathbb E_P[g] -\mathbb E_Q[e^{g-1}]\Big\}.

（这是「MINE-f」式下界。经典 Donsker–Varadhan 下界是 $\mathbb E_P[g]-\log\mathbb E_Q[e^{g}]$ ，二者同源但第二项不同： $e^{y-1}$ 是把 $\log$ 移到最外层并做 $f$ -散度对偶后的结果。）

反向 KL / α-GAN：把 α 从 $-1$ 扫到 $1$ ，散度从反向 KL（ $\alpha\to-1$ ，zero-forcing、模式崩塌倾向）经 Hellinger 型对称散度（ $\alpha=0$ ）过渡到正向 KL（ $\alpha\to1$ ，zero-avoiding、模式覆盖倾向），可以在"崩塌—覆盖"之间连续调节（见 3.6 节的两端极限）。
JS： $f^*=-\frac12\log(2-e^{2y})$ ， $y<\frac{\log2}{2}$ 。代回即原始 GAN 的对抗目标（见 5.4）。
$\chi^2$ （LSGAN）： $f^*=y+y^2/4$ ，目标变为 $\mathbb E_P[g]-\mathbb E_Q[g+g^2/4]$ ，即对判别器输出做最小二乘回归，梯度不会像 sigmoid 那样饱和。
Hellinger²： $f^*=y/(1-y)$ ， $y<1$ 。

5.4 原始 GAN 与 JS 散度

原始 GAN 的判别器输出经 sigmoid 得 $\sigma(D(x))=D_{s}(x)\in(0,1)$ ，其目标等价于最小化 JS 散度下的对抗博弈。判别器写成 logit

g(x)=\log D_s(x)-\log(1-D_s(x)) =\log\frac{p}{q},

它与 5.2 节的最优解

g_{JS}^*(x)=f_{JS}'\Big(\frac{p}{q}\Big) =\frac12\log\frac{2t}{t+1}

通过重参数化 $D_s^*=\frac{e^{2g_{JS}^*}}{2}=\frac{p}{p+q}$ 相联系（常数平移在共轭表示中自由），故在最优判别器处可直接代入：

\mathbb E_P[\log D_s]+\mathbb E_Q[\log(1-D_s)] =2\,D_{JS}\!\left(P\ \Big\|\ Q\right)-2\log 2 .

推导： $\log\frac{2p}{p+q}=\log\frac{p}{p+q}+\log2$ ，故

\mathrm{KL}(P\|M) =\mathbb E_P\Big[\log\frac{2p}{p+q}\Big] =\mathbb E_P[\log D_s]+\log2,

对 $Q$ 同理，两式相加即得。于是「最小化 JS」与「在最优判别器下最大化 GAN 目标」是同一件事，而常数 $-2\log2$ 与生成器无关。这解释了「GAN 训练不收敛」的来源：JS 有界，一旦支撑集几近不重叠， $D_{JS}\to\log2$ ，判别器梯度饱和，生成器梯度消失。反过来，换成 LSGAN（ $\chi^2$ ）、Wasserstein（非 f-散度）或 α-GAN 就能改变这一点。

5.5 估计性质

用 5.1 的 Monte Carlo 下界做估计时：

它是 $D_f$ 的下界（偏差向下），且偏差来自 $g_\omega$ 未达到最优 + 样本有限；
当 $\sup$ 取到极值时，估计量方差随 $f^*$ 增长而增大（如 KL 的 $e^{g}$ 会重尾）；
一个常用替代是「对称化」或「有界化」 $f$ （如 JS、TV），牺牲敏感性换取稳定梯度。这与第 6 节讨论的「有界/无界」准确性—稳健性权衡是同一件事。

6. 与其他散度的比较

6.1 汇总

散度	$f(t)$	$f^*(y)$	对称	有界
KL	$t\log t$	$e^{y-1}$	否	否
反向 KL	$-\log t$	$-1-\log(-y)$	否	否
JS	$\frac12[t\log t-(t+1)\log\frac{t+1}{2}]$	$-\frac12\log(2-e^{2y})$	是	是
全变差	$\frac12\lvert t-1\rvert$	$y$ （ $\lvert y\rvert\le\frac12$ ）	是	是
Pearson $\chi^2$	$(t-1)^2$	$y+\frac{y^2}{4}$	否	否
Neyman $\chi^2_N$	$\frac{(t-1)^2}{t}$	$2-2\sqrt{1-y}$ （ $y<1$ ）	否	否
Hellinger $^2$	$(\sqrt t-1)^2$	$\frac{y}{1-y}$	是	是
α-散度	$\frac{4}{1-\alpha^2}(1-t^{(1+\alpha)/2})$	$\frac{1}{a}\big[\big((1-a)(-y)\big)^{-\frac{a}{1-a}}-\frac{1}{1-a}\big]$ ， $y<0$	否	否

（Neyman 一行的验证： $f(t)=\frac{(t-1)^2}{t}=t-2+\frac1t$ ， $f^*(y)=\sup_{t>0}\{yt-t+2-\frac1t\}$ ，驻点条件 $y-1+\frac1{t^2}=0$ 给 $t=\frac{1}{\sqrt{1-y}}$ （ $y<1$ ），代回得 $f^*=t(y-1)+2-\frac1t=-\sqrt{1-y}+2-\sqrt{1-y}=2-2\sqrt{1-y}$ 。α 一行取 $a=\frac{1+\alpha}{2}\in(0,1)$ ，验证： $f_\alpha^*(y)=\sup_t\{ty-\frac{1-t^a}{a(1-a)}\}$ ，驻点 $y+\frac{t^{a-1}}{1-a}=0$ 给 $t=\big((1-a)(-y)\big)^{-\frac{1}{1-a}}$ （ $y<0$ ），代回即得上式； $a=\frac12$ （即 $\alpha=0$ ， $f=4(1-\sqrt t)$ ）时公式给出 $\frac{4}{-y}-4$ ，可与直接展开互相验证。）

可见，f-散度族统一了「不对称/对称」「有界/无界」的多种散度。

6.2 积分概率度量（IPM）

f-散度只依赖似然比 $dP/dQ$ ，因此把两个分布同时「搬到别处」值不变。这带来一个根本局限：

\text{若 } P\perp Q\ (\text{支撑集不重叠，如 } P=\delta_0,\ Q=\delta_1),

D_{JS}=\log2,\quad D_{TV}=1,

也就是说，f-散度在支撑分离时饱和到常数上界，对生成器参数的微小改动失去梯度：因为被积分的量 $q\,f(p/q)$ 只在 $q>0$ 处有定义，当两个支撑几乎不重叠时，极小化散度的博弈只剩"常数项 − 常数项"，梯度信息全部丢失（这正是原 GAN 训练崩溃的理论根源）。Wasserstein 距离与 MMD 属于另一族——积分概率度量：

\text{IPM}_{\mathcal F}(P,Q) =\sup_{h\in\mathcal F}\Big|\int h\,dP -\int h\,dQ\Big| .

它们比较的是「在函数类 $\mathcal F$ 上积分的差」，而不是似然比，因此利用了样本空间的度量/几何结构。KS 距离（ $\mathcal F=\{$ 一维区间指示函数 $\}$ ）、Wasserstein（ $\mathcal F=\{$ 1-Lipschitz 函数 $\}$ ）、MMD（ $\mathcal F=\{$ RKHS 单位球 $\}$ ）都是 IPM。上面对 f-散度的变分表示其实是「带惩罚的 IPM」：

D_f(P\|Q) =\sup_{g}\Big\{\mathbb E_P[g] -\mathbb E_Q[f^*(g)]\Big\},

它的被估计量是 $f^*(g)$ ，而不是 $|{\cdot}|$ ，所以是「非对称 IPM」。

结论： Wasserstein/MMD 不是 f-散度，也不能写成 f-散度；它们的关键区别在于是否利用几何、是否在支撑分离时仍给梯度、以及是否满足数据处理不等式（Wasserstein 一般不满足数据处理不等式，因为传输方案可以随条件分布"重新安排"质量；MMD 由核特征映射的条件期望是收缩算子，沿核的具体结构可证其满足数据处理不等式）。

6.3 支撑不重叠的极限

情形	KL	反向 KL	JS	TV	$\chi^2$	Hellinger²	Wasserstein
$P=\delta_0,Q=\delta_1$ （约）	$+\infty$	$+\infty$	$\log2$	$1$	$+\infty$	$2$	$1$
$P=N(0,1),Q=N(100,1)$	$=5000$	$=5000$	$\approx\log2$	$\approx1$	$\approx e^{10^4}$	$\approx2$	$=100$

f-散度在第二行全部「饱和到下界/上界」，而 Wasserstein 随距离线性增长——这正是词嵌入、最优传输、Wasserstein GAN 的动机。

7. 机器学习应用

f-散度族之所以重要，是因为：

统一框架：许多生成模型的目标函数可以写成 f-散度。
变分估计：通过凸共轭，可以用神经网络估计 f-散度，这就是 f-GAN 的核心思想。
灵活选择：不同 $f$ 对应不同训练性质。例如 JS 有界但可能梯度消失，KL 无界但敏感。
理论分析：数据处理不等式、凸性、对偶表示等为收敛性和泛化分析提供工具。

下面把这几条落到具体场景。

7.1 f-GAN

见第 5 节。核心是： $\min_\theta\max_\omega$ 的对抗目标 = 对 $f$ 做对偶后的 f-散度估计。选择 $f$ 就是选择「用哪种散度训练生成器」，这直接决定模式崩塌、梯度消失与训练稳定性的权衡。

7.2 变分推断与 ELBO

变分推断里最大化证据下界

\begin{aligned} \mathcal L(q) &=\mathbb E_q[\log p(x,z)] -\mathbb E_q[\log q(z)]\\ &=\log p(x) -\mathrm{KL}\big(q(z)\,\|\,p(z|x)\big), \end{aligned}

其中 $\mathrm{KL}(q\|p)$ 是 f-散度（ $f=t\log t$ ）。反过来，任何以 $\mathbb E_q[\log(\cdot)]$ 为组成部分的目标都可以用 f-散度的语言重写； $\alpha$ -VI、 $\chi^2$ -VI 等就换用别的 $f$ ，在 3.1 节所说的「零回避」（mass-covering）与「零强制」（mode-seeking）两种极端行为之间取舍。

7.3 互信息估计

互信息可写成

I(X;Y) =\mathrm{KL}\big(P_{XY}\,\|\,P_X\otimes P_Y\big) =D_{t\log t}\big(P_{XY}\|P_X\otimes P_Y\big),

因此它是 f-散度的特例。MINE 用 Donsker–Varadhan 对偶估计它，f-MINE 则对一般 $f$ 用 4.4 节的对偶；不同 $f$ （KL、JS、 $\chi^2$ ）给出不同的「MI 下界」和不同的方差—偏差折衷。对比式学习的 InfoNCE 也是 KL 下界的一种变体。

7.4 表示学习

任何表示 $T(X)$ 都满足（4.5 节）

D_f\big(P_{T(X)}\|Q_{T(X)}\big) \le D_f(P_X\|Q_X),

即「编码不会创造信息」。这为对比学习、域对齐、特征选择提供了可证伪的约束：任何声称「表示后差异更大」的方法都必然在某个环节违反了 DPI，需要解释为什么。

7.5 域适应

在源域 $\mathcal S$ 与目标域 $\mathcal T$ 上，衡量分布漂移的现代方法（DANN、ADDA）本质上用 f-散度或 IPM 对齐边缘分布；其中用 JS 的（GAN 式）对齐与用 MMD/Wasserstein 的对齐，区别正是 6.2 节的几何与支撑问题。

7.6 假设检验

f-散度是假设检验的错误指数：

Stein 引理：在固定第一类错误下，第二类错误的最优指数为 $\mathrm{KL}(P\|Q)$ ；
Chernoff 信息： $C(P,Q)=\sup_{0<\lambda<1}(1-\lambda)D^{R}_{\lambda}(P\|Q)$ ，即 Rényi/α-族中的最优点；对称检验的指数由它决定。

因此 f-散度不只是「训练目标」，也是统计判决的极限性能。

8. 差分隐私（f-DP）

一个较新的应用是把 f-散度的语言搬到隐私保护。差分隐私（DP）要求相邻数据集的输出分布「难以区分」。Dong–Roth–Su 提出 f-差分隐私（f-DP）：用一个权衡函数（tradeoff function） $f$ 刻画两个输出分布 $P,Q$ 上「漏报率—误报率」的权衡曲线：

T(P,Q)(\alpha) =\inf_{A}\big\{P(A)\ :\ Q(A)\ge1-\alpha\big\}, \qquad \alpha\in[0,1] .

机制 $M$ 满足 $f$ -DP，若对所有相邻 $D,D'$ ，恒有 $T(M(D),M(D'))\ge f$ 。可以证明：

权衡曲线与 f-散度互相决定。 注意 $T(P,Q)(\alpha)$ 只依赖似然比 $dP/dQ$ 的分布，因此 $T$ 与"全体 f-散度"携带同样的信息。对 hockey-stick 生成元族

g_\gamma(t)=\max\{0,\,t-\gamma\}, \qquad \gamma\in[0,1],

（Dong–Roth–Su 的 $h_\gamma(t)=\max\{0,t-1+\gamma\}$ 就是把 $\gamma$ 换成 $1-\gamma$ 的同一族），变分表示给出干净的检验集形式：

D_{g_\gamma}(P\|Q) =\sup_{A\in\mathcal A}\big\{P(A) -\gamma\,Q(A)\big\}.

推导： 一方面，任意 $0\le g\le1$ 可写为指示函数的线性组合（层叠公式），而 $E_P[g]-\gamma E_Q[g]$ 是 $g$ 的线性泛函，故其上确界在指示函数 $g=\mathbf1_A$ 上达到：

\sup_{0\le g\le1}\{E_P[g]-\gamma E_Q[g]\} =\sup_{A}\{P(A)-\gamma Q(A)\},

且由 $E_P[g]=E_Q[g\,t]$ ，左端点态上确界为 $E_Q[(t-\gamma)^+]$ ，即 $D_{g_\gamma}$ 。另一方面取 $g^*=\mathbf 1_{\{t>\gamma\}}$ 恰有 $E_Q[g^*(t-\gamma)]=E_Q[(t-\gamma)^+]$ ，故等号可取。

几何解释： $\gamma$ 扫过 $[0,1]$ 时，右端就是权衡曲线（ROC 下边界）各条斜率为 $1/\gamma$ 的支撑线的截距——知道整条曲线 $T$ 就知道全部 $g_\gamma$ -散度（ $\gamma=1$ 时立刻给出 $\mathrm{TV}=\sup_A\{P(A)-Q(A)\}$ ）。反过来，知道单个标量散度（如 KL 或 $\chi^2$ ）只对 $T$ 施加一个切向约束（4.7 节的不等式网络），信息严格更少；

在「小隐私预算」下，所有 f-DP 都由**高斯差分隐私（GDP）**统一逼近，其权衡函数 $G_\mu(\alpha)=\Phi\big(\Phi^{-1}(1-\alpha)-\mu\big)$ ；
权衡函数族在组合（post-processing、串联）下封闭，并装备了一个与 f-散度"散度序"同构的偏序——这与 f-散度族的" $\ge$ 比较"在结构上完全平行。

这说明 f-散度不仅统一了信息论度量，也统一了现代隐私的定义框架：用一条凸曲线代替一个标量数字。

9. 计算实例

9.1 正态分布

设 $P=N(\mu_1,\sigma_1^2)$ 、 $Q=N(\mu_2,\sigma_2^2)$ 。

KL（经典公式）。

D_{KL}(P\|Q)=\log\frac{\sigma_2}{\sigma_1} +\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma_2^2} -\frac12 .

Pearson $\chi^2$ （等方差 $\sigma_1=\sigma_2=\sigma$ ， $\Delta=\mu_1-\mu_2$ ）。 计算 $\int p^2/q$ ：由配方可得

\int \frac{p^2}{q}\,dx =\exp\!\left(\frac{\Delta^2}{\sigma^2}\right),

于是

\chi^2(P\|Q)=\int\frac{(p-q)^2}{q}\,dx =\int\frac{p^2}{q}-1 =\exp\!\left(\frac{\Delta^2}{\sigma^2}\right) -1 .

这印证了「无界」：两个虽很接近但支撑重叠的正态， $\chi^2$ 也会随 $\Delta^2/\sigma^2$ 指数爆炸。

Hellinger²（等方差）。 Bhattacharyya 系数

BC(P,Q)=\int\sqrt{pq} =\exp\!\left(-\frac{\Delta^2}{8\sigma^2}\right),

故 $H^2_{\text{Bhattacharyya}}=1-e^{-\Delta^2/(8\sigma^2)}$ ， $D_f=2(1-e^{-\Delta^2/(8\sigma^2)})$ （本文约定）。

α-散度（等方差）。 由 3.6 节

D_\alpha=\frac{1}{a(1-a)} \Big(1- e^{-\frac{a(1-a)\Delta^2}{2\sigma^2}}\Big), \qquad a=\frac{1+\alpha}{2},

在小 $\Delta$ 时 $\approx\frac{\Delta^2}{2\sigma^2}$ ，与 4.6 节的局部展开一致（且此时与 $\alpha$ 无关）。

9.2 伯努利分布

设 $P=\mathrm{Bern}(p)$ 、 $Q=\mathrm{Bern}(q)$ （ $p,q\in(0,1)$ ），似然比取值 $t_1=p/q$ （概率 $q$ ）与 $t_0=(1-p)/(1-q)$ （概率 $1-q$ ）。

D_{KL}(P\|Q)=p\log\frac pq +(1-p)\log\frac{1-p}{1-q},

D_{TV}(P,Q)=|p-q|,\qquad \chi^2(P\|Q)=\frac{(p-q)^2}{q(1-q)},

H^2_{\text{Bhattacharyya}}(P,Q) =1-\sqrt{pq}-\sqrt{(1-p)(1-q)} .

这些是检验公式是否自洽的好练习：例如把 $D_{KL}$ 对 $p$ 在 $p=q$ 处做二阶展开，应回到 $\frac{(p-q)^2}{2q(1-q)}=\frac12\chi^2$ ，与 4.6 节吻合。

9.3 用对偶表示反推 KL

取 $f(t)=t\log t$ 、 $f^*(y)=e^{y-1}$ ，则对任意 $g$ ：

D_{KL}(P\|Q)\ge \mathbb E_P[g] -\mathbb E_Q[e^{g-1}],

等号在 $g=\log(p/q)+1$ 处取到。代回：

\mathbb E_P[\log(p/q)+1] -\mathbb E_Q[e^{\log(p/q)}] =D_{KL}(P\|Q)+1-1=D_{KL}(P\|Q),

完全自洽。这给出了一个「可验证」的对偶表示练习。

10. 结论

f-散度族的故事可以浓缩成三句话：

一个模板： $D_f(P\|Q)=\mathbb E_Q[f(dP/dQ)]$ ， $f$ 凸、 $f(1)=0$ 。
两组对偶： $f\leftrightarrow f^*$ 给出变分表示（可用于估计与对抗训练）； $f\leftrightarrow t f(1/t)$ 给出方向对称性（可用于构造对称散度）。
一个不变量：数据处理不等式，说明它是「信息量」而非「几何量」。正因如此，它与 Wasserstein/MMD 在支撑分离时行为迥异。

经典文献可参考：Csiszár (1967)、Ali–Silvey (1966) 的原始定义；Liese–Vajda 的专著对 f-散度的对偶、拓扑与充分性做了系统处理；Amari 的信息几何给出 α-族与 Fisher 度量；Nowozin 等 (2016) 的 f-GAN、Belghazi 等 (2018) 的 MINE 把对偶表示变成可训练算法；Dong–Roth–Su (2022) 说明 f-散度的语言如何统一差分隐私。把这几条线索接起来，读者就能在「定义—性质—估计—应用」四个层面上自由穿梭。