leaky ReLU

本文介绍高等数学中的leaky ReLU，以及在神经网络中的应用。

函数原型

leaky ReLU（带泄露的ReLU）

$$f(x)=\{\begin{array}{ll}x,& \text{if }x\ge 0\\ \lambda x,& \text{if }x<0\end{array}$$

$$\text{> 其中\$lambda\$为泄露率，取 \$(0,1) 内的数\$ \#\#\# 导数的函数原型 >}$$

f(x)' = \begin{cases}
1, & \text{if } x \geq 0 \
\lambda, & \text{if } x < 0
\end

$$\text{\#\#\# 适用范围 > 默认全部 \#\#\# 函数图像  \#\#\# Python代码实现 ```python def main(): x = np.arange(-10, 10, 0.01) lambda1 = 0.5 y = list(map(lambda x: x if x > 0 else lambda1 * x, x)) plt.figure(figsize=(6, 4)) plt.title('leaky ReU function') plt.xlabel('x', loc='left') plt.ylabel('y', loc='bottom') \# ReU图像 plt.plot(x, y, label='leaky ReU function') \# ReU导数图像 der\_y = list(map(lambda x: 1 if x > 0 else lambda1, x)) plt.plot(x, der\_y, label='leaky ReU derivative function') plt.xticks(np.arange(-10, 11, 1)) plt.yticks(np.arange(-1, 10, 1)) plt.legend() plt.grid(True, color='b', linewidth='0.5', linestyle='dashed') plt.tight\_layout() plt.show() ```}$$