个人技术笔记

pytorch常用函数

发布时间：2020-06-10  栏目：人工智能  评论：0 Comments

1. BCELoss

class torch.nn.BCELoss(weight=None, size_average=True, reduce=True)

• 作用：

计算target 和output 间的二值交叉熵(Binary Cross Entropy)

 

参数：

• weight (Tensor,可选) – 每批元素损失的手工重标权重。如果给定，则必须是一个大小为“nbatch”的张量。
• size_average (bool, 可选) – 弃用(见reduction参数)。默认情况下，设置为True，即对批处理中的每个损失元素进行平均。注意，对于某些损失，每个样本有多个元素。如果字段size_average设置为False，则对每个小批的损失求和。当reduce为False时，该参数被忽略。默认值:True
• reduce (bool,可选) – 弃用(见reduction参数)。默认情况下，设置为True，即根据size_average参数的值决定对每个小批的观察值是进行平均或求和。如果reduce为False，则返回每个批处理元素的损失，不进行平均和求和操作，即忽略size_average参数。默认值:True
• reduction (string,可选) – 指定要应用于输出的reduction操作:’ none ‘ | ‘mean’ | ‘ sum ‘。“none”:表示不进行任何reduction，“mean”:输出的和除以输出中的元素数，即求平均值，“sum”:输出求和。注意:size_average和reduce正在被弃用，与此同时，指定这两个arg中的任何一个都将覆盖reduction参数。默认值:“mean”

 

形状：

• 输入：(N,*), *代表任意数目附加维度
• 目标：(N,*)，与输入拥有同样的形状
• 输出:标量scalar，即输出一个值。如果reduce为False,即不进行任何处理，则(N,*)，形状与输入相同。

 

2. nn.Module

大部分nn中的层class都有nn.function对应，其区别是：

• nn.Module实现的layer是由class Layer(nn.Module)定义的特殊类，会自动提取可学习参数nn.Parameter
• nn.functional中的函数更像是纯函数，由def function(input)定义。

由于两者性能差异不大，所以具体使用取决于个人喜好。对于激活函数和池化层，由于没有可学习参数，一般使用nn.functional完成，其他的有学习参数的部分则使用类。但是Droupout由于在训练和测试时操作不同，所以建议使用nn.Module实现，它能够通过model.eval加以区分。

Comments are closed.