个人技术笔记

度量学习Metric Learning

发布时间：2020-04-17  栏目：机器视觉  评论：0 Comments

度量学习 (Metric Learning) == 距离度量学习 (Distance Metric Learning，DML) == 相似度学习

度量学习 是指 距离度量学习，Distance Metric Learning，简称为 DML，是人脸识别中常用传统机器学习方法，由Eric Xing在NIPS 2002提出。

度量学习（Metric Learning）也就是常说的相似度学习。如果需要计算两张图片之间的相似度，如何度量图片之间的相似度使得不同类别的图片相似度小而相同类别的图片相似度大（maximize the inter-class variations and minimize the intra-class variations）就是度量学习的目标。

度量学习作为一个理想的替代，可以根据不同的任务来自主学习出针对某个特定任务的度量距离函数。

根据不同的任务来自主学习出针对某个特定任务的度量距离函数。通过计算两张图片之间的相似度，使得输入图片被归入到相似度大的图片类别中去。

与经典识别网络相比，经典识别网络有一个bug：必须提前设定好类别数。这也就意味着，每增加一个新种类，就要重新定义网络模型，并从头训练一遍。

比如我们要做一个门禁系统，每增加或减少一个员工(等于是一个新类别)，就要修改识别网络并重新训练。很明显，这种做法在某些实际运用中很不科学。

因此，Metric Learning作为经典识别网络的替代方案，可以很好地适应某些特定的图像识别场景。一种较好的做法，是丢弃经典神经网络最后的softmax层，改成直接输出一根feature vector，去特征库里面按照Metric Learning寻找最近邻的类别作为匹配项。

 

分为两种，一种是基于监督学习的，另外一种是基于非监督学习的。

一. 监督学习

1）LDA Fisher线性判别

2）Local LDA

Local Linear Discriminative Analysis

3）RCA 相关成分分析

Relevant Component Analysis

4）LPP 局部保留投影

Locality Preserving Projection

5）LMNN 大间隔最近邻

Large-Margin Nearest Neighbors

6）LLE 局部线性嵌入

Locally linear embedding

监督学习的方法应用比较多，包括上一节我们讲到的 基于CNN的特征提取都属于监督学习的范畴。

二. 非监督学习

严格说来，非监督的度量学习（主要是指降维方法）不算真正的度量学习，我们也把他们列出来，方便读者记忆：

1）主成分分析(Pricipal Components Analysis, PCA)

2）多维尺度变换(Multi-dimensional Scaling, MDS)

3）独立成分分析(Independent components analysis, ICA)

4）拉普拉斯特征映射（Laplacian Eigenmaps）

 

 

度量学习（Metric Learning）是一种空间映射的方法，其能够学习到一种特征（Embedding）空间，在此空间中，所有的数据都被转换成一个特征向量，并且相似样本的特征向量之间距离小，不相似样本的特征向量之间距离大，从而对数据进行区分。度量学习应用在很多领域中，比如图像检索，人脸识别，目标跟踪等等。

在深度学习中，很多度量学习的方法都是使用成对成对的样本进行loss计算的，这类方法被称为 pair-based deep metric learning。例如，在训练模型的过程，我们随意的选取两个样本，使用模型提取特征，并计算他们特征之间的距离。 如果这两个样本属于同一个类别，那我们希望他们之间的距离应该尽量的小，甚至为0；如果这两个样本属于不同的类别，那我们希望他们之间的距离应该尽量的大，甚至是无穷大。正是根据这一原则，衍生出了许多不同类型的pair-based loss，使用这些loss对样本对之间的距离进行计算，并根据生成的loss使用各种优化方法对模型进行更新。

Comments are closed.