优化算法之梯度下降法
发布时间：2015-11-18 栏目：机器学习 评论：0 Comments
梯度下降法（Gradient Descent）是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。
常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。
参考：
http://www.zhihu.com/question/24258023
为什么计算函数极值用梯度下降算法而不直接令导数为0求解？
因为并不是所有的函数都可以根据导数求出取得0值的点的, 现实的情况可能是:
1. 可以求出导数在每个点的值, 但是直接解方程解不出来, 比如一些简单的神经网络
2. 导数没有解析解, 像一个黑匣子一样, 给定输入值, 可以返回输出值, 但是具体里面是什么情况, 搞不清楚, 工程上似乎有这种情况
1. 可以求出导数在每个点的值, 但是直接解方程解不出来, 比如一些简单的神经网络
2. 导数没有解析解, 像一个黑匣子一样, 给定输入值, 可以返回输出值, 但是具体里面是什么情况, 搞不清楚, 工程上似乎有这种情况
以上两种就不能直接令导数为0求解.
留下评论
You must be logged in to post a comment.
