DNN设置不同层的学习率

发布时间:2018-04-23  栏目:深度学习  评论:0 Comments

param {
lr_mult: 1.0 #层学习系数
decay_mult: 1.0 #层惯量系数
}

卷积层中Bias_term 为true时,有两个以上的学习率需要设置。

BatchNorm: 训练时设置global状态为false, 预测时设置为true。

留下评论

You must be logged in to post a comment.

相册集

pix pix pix pix pix pix

关于自己

杨文龙,微软Principal Engineering Manager, 曾在各家公司担任影像技术资深总监、数据科学团队资深经理、ADAS算法总监、资深深度学习工程师等职位,热爱创新发明,专注于人工智能、深度学习、图像处理、机器学习、算法、自然语言处理及软件等领域,目前发明有国际专利19篇,中国专利28篇。

联系我

个人技术笔记

welonshen@gmail.com

2015 in Shanghai