个人技术笔记

变分推断

发布时间：2021-05-12  栏目：人工智能, 深度学习  评论：0 Comments

在现实生活中，我们经常需要根据已有数据去推断需要的分布p，比如我们在求后验概率时，经常因为边缘分布（分母）很难写出解析解，从而很难求得其后验。

一般来说，针对这种问题我们经常有两种解决方法：第一种最简单的是使用蒙特卡洛方法，第二种就是使用变分推断的方法。

但是，有时候我们因为结果不理想等种种原因，不能或者不想使用蒙特卡洛方法的时候，今天就给大家介绍一个新方法——变分推断。

 

变分推断简介
变分推理的目标是近似潜在变量(latent variables)在观测变量（observed variables）下的条件概率。解决该问题，需要使用优化方法。在变分推断中，需要使用到的一个重要理论，是平均场理论，读者可以参考我的另外一篇博客：
https://qianyang-hfut.blog.csdn.net/article/details/86644192

变分推断等价于最小化KL散度。

其中，q ( z ) q(z)q(z)为近似分布，p ( z ∣ x ) p(z|x)p(z∣x)为所要求的的后验概率分布。这里之所以对p ( z ∣ x ) p(z|x)p(z∣x)进行近似，是因为其很难计算。

 
ELBO
ELBO，全称为 Evidence Lower Bound，即证据下界。这里的证据指数据或可观测变量的概率密度。

 
原文链接：https://blog.csdn.net/qy20115549/article/details/93074519

留下评论

You must be logged in to post a comment.