杨文龙的博客 » 自然语言处理 - 个人技术笔记 - 热爱创新发明，专注机器学习、算法、深度学习、自然语言处理及人工智能

关于ChatGPT的一点初步思考

发布时间：2023-01-29 栏目：AI应用领域, VideoConference, 人工智能, 元宇宙, 智能问答, 机器人, 深度学习, 自然语言处理评论：0 Comments

深度学习应该是有很多瓶颈的，那么为啥ChatGPT可以是实现类似于质的飞跃？真的只是因为它有比较大的量和做了表面的优化（强化学习）这个吗？个人初步感觉，words可能比图像输入有更强的condition和context信息，特别是如果融合前后3000...

Language Drift

发布时间：2023-01-23 栏目：AI应用领域, 智能问答, 机器翻译, 深度学习, 自然语言处理评论：0 Comments

The phenomenon of language drift has been an observed problem in the language model literature, language model that is pre-trained on a large text corpus and later fine-tuned for a specific task progressively loses syntactic an...

Introducing AI-driven acoustic synthesis for AR and VR【转】

发布时间：2022-07-04 栏目：AI应用领域, 元宇宙, 图像处理, 机器视觉, 深度学习, 自然语言处理评论：0 Comments

Introducing AI-driven acoustic synthesis for AR and VR (facebook.com)

指代消解

发布时间：2021-10-27 栏目：AI应用领域, 人工智能, 智能问答, 机器翻译, 自然语言处理评论：0 Comments

什么是指代？一般在语言学及我们日常用语当中，在下文采用简称或代称来代替上文已经出现的某一词语，语言学中把这种情况称为“指代现象”，也即是指代。指代现象能够避免同一词语重复出现所造成的语句臃肿、赘述等问题；但也因为这种省略造成“指...

时序卷积网络（Temporal convolutional network， TCN）

发布时间：2021-08-18 栏目：人工智能, 图像处理, 机器翻译, 机器视觉, 自然语言处理评论：0 Comments

时序卷积网络（Temporal convolutional network， TCN）与多种RNN结构相对比，发现在多种任务上TCN都能达到甚至超过RNN模型。 -因果卷积可以用上图直观表示。即对于上一层t时刻的值，只依赖于下一层t时刻及其之前的值。和传统的卷积神经网络的...

归一化方法

发布时间：2021-07-29 栏目：人工智能, 机器视觉, 深度学习, 自然语言处理评论：0 Comments

– 批量归一化（Batch Normalization/BN） – 层归一化（Layer Normalization/LN） – 实例归一化（Instance Normalization/IN） – 组归一化（Group Normalization/GN） – BRN (Batch ReNormalization) &nb...

BERT与RoBERTa

发布时间：2021-06-23 栏目：人工智能, 机器翻译, 自然语言处理评论：0 Comments

BERT（Bidirectional Encoder Representations from Transformers）近期提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。论文的主要特点以下几点：使用了Transfo...

深度学习常用激活函数总结

发布时间：2021-06-12 栏目：人工智能, 机器视觉, 深度学习, 自然语言处理评论：0 Comments

Sigmoid tanh ReLU LeakyReLU, PReLU（Parametric Relu）, RReLU maxout Softsign sigmoid 加权线性单元 (SiLU) silu的导数函数 (dSiLU) 神经网络为什么需要激活函数：首先数据的分布绝大多数是非线性的，而一般神经网络的计算是线性...

MDETR（Modulated Detection for End-to-End Multi-Modal Understanding）详解

发布时间：2021-05-16 栏目：人工智能, 图像处理, 机器翻译, 机器视觉, 深度学习, 自然语言处理评论：0 Comments

MDETR – Modulated Detection for End-to-End Multi-Modal Understanding 介绍MDETR之前需要先介绍DETR（DEtection TRansformer）， DETR是一种direct set prediction方法，通过剔除了一些加入先验的方法如spatial anchors和non-ma...

指称表达理解(Referring Expression Comprehension)

发布时间：2021-05-14 栏目：人工智能, 机器视觉, 自然语言处理评论：0 Comments

从 17 年开始，我们就陆续看到一些新的 vision-language 的任务被提了出来，比如被研究比较多的 referring expression comprehension，也叫做 visual grounding，虽然 14 年就有类似的概念被提出，但基本上从 17 年开始相关的方法才多了起来。在...

密码保护：不同任务的Loss Function设计总结

发布时间：2021-05-14 栏目：人工智能, 图像处理, 机器视觉, 深度学习, 自然语言处理评论：要查看留言请输入您的密码。

深度学习： – 分类：交叉熵损失、BCE Loss(Faster RCNN) – 目标检测：交叉熵损失(softmax\logistic) Focal Loss、squared error loss (Yolo V3) Smooth L1 Loss (Faster RCNN) IOU loss 系数*（相似度[预测框和...

Image-Phrase Grounding

发布时间：2021-05-14 栏目：人工智能, 图像处理, 自然语言处理评论：0 Comments

Image-Phrase Grounding 是利用指定描述的语句进行标定图片中所显示的物体。它比较类似于image-caption, VQA(Visual Question Answering)这样的图像与文本语义信息相结合的工作，近几年开始逐渐受到人们的关注。

【转】自然语言处理中的Encoder-Decoder模型，基本Sequence to Sequence模型

发布时间：2017-07-07 栏目：机器翻译, 自然语言处理评论：0 Comments

Encoder-Decoder（编码-解码）是深度学习中非常常见的一个模型框架，比如无监督算法的auto-encoding就是用编码-解码的结构设计并训练的；比如这两年比较热的image caption的应用，就是CNN-RNN的编码-解码框架；再比如神经网络机器翻译NMT模型，...

Soft Attention

发布时间：2017-05-22 栏目：深度学习, 自然语言处理评论：0 Comments

Soft Attention Model，所谓Soft，意思是在求注意力分配概率分布的时候，对于输入句子X中任意一个单词都给出个概率，是个概率分布。那么相对Soft，就有相应的Hard Attention Model，提出Hard版本就是一种模型创新。既然Soft是给每个单词都赋予一...

【转】知识图谱的构建流程

发布时间：2017-03-17 栏目：自然语言处理评论：0 Comments

知识图谱是实体和关系构成的有向图，图中的节点代表实体，边代表实体之间的语义关系。知识图谱中最基本的表现形式是三元组。目前的知识图谱一般规模较大，但是其中绝大多数的知识图谱都是不完备的，因为有大量的知识无法在其中有效地表达。知识...

gensim做主题模型

发布时间：2016-08-10 栏目：自然语言处理评论：0 Comments

作为Python的一个库，gensim给了文本主题模型足够的方便，像他自己的介绍一样，topic modelling for humans 具体的tutorial可以参看他的官方网页，当然是全英文的，http://radimrehurek.com/gensim/tutorial.html

相册集

关于自己

杨文龙，微软Principal Engineering Manager, 曾在各家公司担任影像技术资深总监、数据科学团队资深经理、ADAS算法总监、资深深度学习工程师等职位，热爱创新发明，专注于人工智能、深度学习、图像处理、机器学习、算法、自然语言处理及软件等领域，目前发明有国际专利19篇，中国专利28篇。

联系我

个人技术笔记

290125097@qq.com

2015 in Shanghai