pytorch深度学习框架—torch.nn模块（二）

激活函数

pytorch中提供了十几种激活函数，常见的激活函数通常为S形激活函数（Sigmoid）双曲正切激活函数(Tanh) 和线性修正单元（ReLu）激活函数等

torch.nn.Sigmoid激活函数也叫logistics激活韩式计算公式为：

torch.nn. Tanh双曲正切函数的公式：

torch.nn.ReLu激活函数的计算公式为：

可视化激活函数

下面使用pytorch结合matplotlib可视化激活函数

Sigmoid激活函数

# 激活函数可视化 
x = torch.linspace(-6,6,100)
sigmoid = nn.Sigmoid()
ysigmoid = sigmoid(x)
plt.figure(figsize=(14,3))
plt.subplot(1,4,1)
plt.plot(x.data.numpy(),ysigmoid.data.numpy(),"r-")
plt.title("Sigmoid")
plt.grid()
plt.show()

Tanh激活函数

# 激活函数可视化 
x = torch.linspace(-6,6,100)
tanh = nn.Tanh()
ytanh = tanh(x)
plt.figure(figsize=(14,3))
plt.subplot(1,4,1)
plt.plot(x.data.numpy(),ytanh.data.numpy(),"r-")
plt.title("Tanh")
plt.grid()
plt.show()

ReLu激活函数

# 激活函数可视化 
x = torch.linspace(-6,6,100)
relu = nn.ReLU()
yrelu = relu(x)
plt.figure(figsize=(14,3))
plt.subplot(1,4,1)
plt.plot(x.data.numpy(),yrelu.data.numpy(),"r-")
plt.title("RELU")
plt.grid()
plt.show()

对于整个torch.nn模块下的激活函数部分介绍完成

循环层

pytorch中提供了三种循环层的实现，如图表所示

torch.nn.RNN()输入一个多层的Elaman Rnn进行学习

下面以torch.nn.RNN()为例介绍循环层的参数、输入、输出
参数说明如下

• input_size:输入x的特征数量
• hidden_size隐层的特征数量
• num_layers:RNN网络的层数
• nonlinearity:指定非线性函数使用Tanh还是ReLu默认tanh
• bias:默认为True 如果为False则不会使用偏置权重
• batch_first:
• dropout:如果值非0则除了最后一层以外，其他的RNN层的输出都会套上一个dropout层默认为0。