卷积神经网络需要学习的参数有哪些？
发布时间：2021-01-07 栏目：人工智能, 机器视觉 评论：0 Comments
卷积神经网络中有很多执行不同功能的层结构，同时也有很多参数需要学习。其中池化层（包括空间金字塔池化层）、reshape层是没有需要学习的参数的，下面我将会盘点CNN中的所有参数。
Softmax层
Softmax层是一个多分类的逻辑斯蒂回归，其需要学习的参数为权重和偏置。
卷积层
卷积层是CNN的核心，其参数则是卷积核的权值以及各通道的偏置量。其中权值的梯度需要使用反卷积获得，偏置量的梯度则是对应通道的误差之和。
全连接层
全连接层的参数同样也是权值和偏置量。其中权值的梯度是上一层的输出和当前层误差转置的积，而各通道的偏置量则也是对应通道的误差。
BatchNorm层
BN层有一个scale和一个shift参数，也可以看作是权值和偏置量。计算方法相同，在此不再赘述。
激活层
一般的激活层没有参数，但如果激活函数是PReLU则不同了——它需要学习一个x < 0时的权值，方法也是上一层负的输出与对应的当前层误差的积之和。
总体上就是这些参数，总结出来就是各层的权值和偏置量。
留下评论
You must be logged in to post a comment.
近期评论
- Pika发表在《莫里斯蠕虫（Morris Worm）》
- Pika发表在《多组学科研分析》
- crisy发表在《最近关于专利的一点感想》
- walter发表在《机器学习基础知识回顾-马尔科夫过程（Markov Process）》
文章归档
- 2024年3月
- 2024年2月
- 2023年12月
- 2023年11月
- 2023年10月
- 2023年9月
- 2023年8月
- 2023年7月
- 2023年6月
- 2023年5月
- 2023年4月
- 2023年3月
- 2023年2月
- 2023年1月
- 2022年12月
- 2022年11月
- 2022年9月
- 2022年8月
- 2022年7月
- 2022年6月
- 2022年5月
- 2022年3月
- 2022年2月
- 2022年1月
- 2021年12月
- 2021年11月
- 2021年10月
- 2021年9月
- 2021年8月
- 2021年7月
- 2021年6月
- 2021年5月
- 2021年4月
- 2021年2月
- 2021年1月
- 2020年12月
- 2020年11月
- 2020年10月
- 2020年8月
- 2020年7月
- 2020年6月
- 2020年5月
- 2020年4月
- 2020年3月
- 2020年2月
- 2019年7月
- 2019年5月
- 2019年3月
- 2019年1月
- 2018年6月
- 2018年5月
- 2018年4月
- 2018年3月
- 2018年2月
- 2017年11月
- 2017年7月
- 2017年6月
- 2017年5月
- 2017年3月
- 2016年12月
- 2016年11月
- 2016年10月
- 2016年9月
- 2016年8月
- 2016年7月
- 2016年6月
- 2016年5月
- 2016年4月
- 2016年3月
- 2016年2月
- 2016年1月
- 2015年12月
- 2015年11月
