JS散度(Jensen–Shannon divergence)

2021-08-08 12:57

阅读:766

标签:公式   范围   sha   gen   targe   csdn   splay   time   sdn   1. 概述 KL散度存在不对称性,为解决这个问题,在KL散度基础上引入了JS散度。 \[J S\left(P_{1} \| P_{2}\right)=\frac{1}{2} K L\left(P_{1} \| \frac{P_{1}+P_{2}}{2}\right)+\frac{1}{2} K L\left(P_{2} \| \frac{P_{1}+P_{2}}{2}\right) \]JS散度的值域范围是[0,1],相同则是0,相反为1 2. 性质 这个公式对于\(P_1\)和\(P_2\)明显是对称的,而且由于是两个KL叠加,故JS具有对称性和非负性。 当 \(P_{1} = \frac{P_{1}+P_{2}}{2} = P_{2}时\),两个KL值均为0,故JS为0。也就是说当两个分布相同时JS为0。 KL散度和JS散度度量的时候有一个问题: 如果两个分配P,Q离得很远,完全没有重叠的时候,那么KL散度值是没有意义的,而JS散度值是一个常数。这在学习算法中是比较致命的,这就意味这这一点的梯度为0。梯度消失了。 3. 证明 证明两个分布完全不重叠时,JS散度是一个常数。 \[\begin{aligned} JS(P \| Q) &= \frac{1}{2} K L\left(P_{1} \| \frac{P_{1}+P_{2}}{2}\right)+\frac{1}{2} K L\left(P_{2} \| \frac{P_{1}+P_{2}}{2}\right) \&=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{\frac{p(x)+q(x)}{2}}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{\frac{p(x)+q(x)}{2}}\right) \&=\frac{1}{2} \sum p(x) \log \left(\frac{2 p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{2 q(x)}{p(x)+q(x)}\right) \&=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{p(x)+q(x)}\right)+\log 2 \end{aligned} \]由于两个分布完全不重叠,故必有p(x)或q(x)为0 p(x)=0时 \[\begin{aligned} JS(P \| Q) &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{p(x)+q(x)}\right)+\log 2 \&=\frac{1}{2} \sum 0 \times \log \left(\frac{0}{0+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{0+q(x)}\right)+\log 2 \&= \log 2 \end{aligned} \]q(x)=0时 \[\begin{aligned} JS(P \| Q) &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{p(x)+q(x)}\right)+\log 2 \&=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+0}\right)+\frac{1}{2} \sum 0 \times \log \left(\frac{0}{p(x)+0}\right)+\log 2 \&=\log 2 \end{aligned} \]这就是JS散度的缺陷,当两个分布完全不重叠时,即便两个分布的中心距离有多近,其JS散度都是一个常数,导致梯度为0,无法更新。 参考链接 https://blog.csdn.net/weixinhum/article/details/85227476https://blog.csdn.net/Invokar/article/details/88917214JS散度(Jensen–Shannon divergence)标签:公式   范围   sha   gen   targe   csdn   splay   time   sdn   原文地址:https://www.cnblogs.com/MorStar/p/14882813.html


评论


亲,登录后才可以留言!