BERT与RoBERTa

发布时间：2021-06-23  栏目：人工智能, 机器翻译, 自然语言处理  评论：0 Comments

BERT（Bidirectional Encoder Representations from Transformers）近期提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。论文的主要特点以下几点： 使用了Transfo...

深度学习调参有哪些技巧？

发布时间：2021-06-23  栏目：人工智能, 深度学习  评论：0 Comments

自己的总结： – 一般如果模型越深，那么针对同样的初始化方法，需要的学习率越小。因为模型越深训练时越容易梯度爆炸或者消失，所以相应的，学习率需要小一点 – 加入BN层或者dropout，可以使初始化方法和学习率不那么重要【实验验证...

深度学习中神经网络的权重初始化方法

发布时间：2021-06-23  栏目：人工智能, 深度学习  评论：0 Comments

参考： https://blog.csdn.net/u012328159/article/details/80025785 https://blog.csdn.net/xxy0118/article/details/84333635  

Depthwise Separable Conv深度可分离卷积

发布时间：2021-06-23  栏目：人工智能  评论：0 Comments

来自于MobileNet，卷积核尺寸越大，DSC的轻量化效果越明显。

激光雷达与摄像头融合

发布时间：2021-06-23  栏目：人工智能, 数据融合  评论：0 Comments

是激光雷达点云转到图像做融合好？还是图像转到激光雷达检测坐标系比较好？ 激光雷达点云为什么要先转成俯视图再处理？

面试的众生相

发布时间：2021-06-23  栏目：感悟  评论：0 Comments

最近一两个月，集中面试了不少机会，感觉面试官形形色色，各种都有，总结如下： – 颐指气使型：上来就各种挑刺和不信任，觉得你这里简历写的不清楚，那里夸大了，自己理解力不行，还总是觉得你这不对哪里没讲清楚。比较奇葩，不过这种遇...

关于人工智能领域内卷的一些碎碎念

发布时间：2021-06-23  栏目：感悟  评论：0 Comments

大概是2015年左右，自己在网易课堂上看一些算法的课程，偶然看到吴恩达的机器学习课程，一下子就被吸引住了，觉得相对于软件，这才应该是最适合我的方向。 当时老婆怀着孕，我也没别的事，除了照顾她，其他就天天看吴恩达、Hinton等的视频课程和...

深度学习常用激活函数总结

发布时间：2021-06-12  栏目：人工智能, 机器视觉, 深度学习, 自然语言处理  评论：0 Comments

Sigmoid tanh ReLU LeakyReLU, PReLU（Parametric Relu）, RReLU maxout Softsign sigmoid 加权线性单元 (SiLU) silu的导数函数 (dSiLU)   神经网络为什么需要激活函数：首先数据的分布绝大多数是非线性的，而一般神经网络的计算是线性...

不同任务的常用测评指标总结

发布时间：2021-06-06  栏目：人工智能, 图像处理, 机器视觉  评论：0 Comments

– 人体姿态检测： 标准的PCK指标（Percentage of Correct Keypoints），这个指标指出了检测结果关键点落在ground truth的标准化距离之内的比例。对于FLIC数据集来说，距离按躯干大小标准化，对于MPII数据集来说，距离按头的大小标准化

近期文章

近期评论

文章归档

分类目录

功能

热情读者



作者其他介绍


友情链接


相册集

pix pix pix pix pix pix

关于自己

杨文龙，微软Principal Engineering Manager, 曾在各家公司担任影像技术资深总监、数据科学团队资深经理、ADAS算法总监、资深深度学习工程师等职位，热爱创新发明，专注于人工智能、深度学习、图像处理、机器学习、算法、自然语言处理及软件等领域，目前发明有国际专利19篇，中国专利28篇。

联系我

个人技术笔记

290125097@qq.com

2015 in Shanghai



Copyright © 杨文龙的博客, All Rights Reserved. 沪ICP备14044444号-2