个人技术笔记

Hessian-free optimization

发布时间：2016-06-21  栏目：深度学习  评论：0 Comments

目前，深度网络（Deep Nets）权值训练的主流方法还是梯度下降法（结合BP算法），当然在此之前可以用无监督的方法（比如说RBM，Autoencoder）来预训练参数的权值，而梯度下降法应用在深度网络中的一个缺点是权值的迭代变化值会很小，很容易收敛到的局部最优点；另一个缺点是梯度下降法不能很好的处理有病态的曲率（比如Rosenbrock函数）的误差函数。而本文中所介绍的Hessian Free方法（以下简称HF）可以不用预训练网络的权值，效果也还不错，且其适用范围更广（可以用于RNN等网络的学习），同时克服了上面梯度下降法的那2个缺点。HF的主要思想类似于牛顿迭代法，只是并没有显示的去计算误差曲面函数某点的Hessian矩阵H，而是通过某种技巧直接算出H和任意向量v的乘积Hv（该矩阵-向量的乘积形式在后面的优化过程中需要用到），因此叫做”Hessian Free”。本文主要是读完Martens的论文Deep learning via Hessian-free optimization记下的一些笔记（具体内容请参考论文部分）。

参考：http://www.cnblogs.com/tornadomeet/p/3267454.html

 

留下评论

You must be logged in to post a comment.