本文介绍高等数学中的leaky ReLU，以及在神经网络中的应用。

函数原型

leaky ReLU（带泄露的ReLU）

f(x)' = \begin{cases}
1, & \text{if } x \geq 0 \
\lambda, & \text{if } x < 0
\end

本文介绍高等数学中的ReLU，以及在神经网络中的应用。

函数原型

ReLU(Rectified Linear Unit 修正的线性单元)

f(x)' = \begin{cases}
1, & \text{if } x \geq 0 \
0, & \text{if } x < 0
\end

本文介绍高等数学中的sigmoid函数，以及在神经网络中的应用。

函数原型

导数的函数原型

适用范围

主要用于二分类的输出层

函数图像

本文介绍高等数学中的tanh函数，以及在神经网络中的应用。

函数原型

tanh函数又称双曲正切函数

导数的函数原型

适用范围

几乎所有场景

函数图像