本文介绍高等数学中的leaky ReLU，以及在神经网络中的应用。

函数原型

leaky ReLU（带泄露的ReLU）

其中为泄露率，取

导数的函数原型

适用范围

默认全部

函数图像

本文介绍高等数学中的ReLU，以及在神经网络中的应用。

函数原型

ReLU(Rectified Linear Unit 修正的线性单元)

导数的函数原型

适用范围

二分类问题选择sigmoid，余下的问题ReLU是默认的选择

函数图像

本文介绍高等数学中的sigmoid函数，以及在神经网络中的应用。

函数原型

导数的函数原型

适用范围

主要用于二分类的输出层

函数图像

本文介绍高等数学中的tanh函数，以及在神经网络中的应用。

函数原型

tanh函数又称双曲正切函数

导数的函数原型

适用范围

几乎所有场景

函数图像