为何选择sigmoid function

“S型函数”$ g\left( z \right) = 1/\left( {1 + {e^{ - z}}} \right) $,即熟知的sigmoid function,也称为logistic function,其值域为(0,1)。其函数图像如下。

事实上,将其作为hypothesis是有一定意义的。

这里我们先引入Exponential Family。Exponential Family 是一类常见的概率密度函数族,其基本形式为$${f_X}(x|\theta ) = h(x)\exp \left( {\eta (\theta ) \cdot T(x) - A(\theta )} \right)$$

其中${\eta (\theta )}$称为natural parameter,${T(x)}$称为sufficient statistic,$h(x)$称为underlying measure,${A(\theta )}$称为log normalizier

对于Bernoulli Distribution

故$\eta = \ln \frac{p}{1 - p}$,$ p = 1/\left( {1 + {e^{ - \eta }}} \right) $。

由于sigmoid function的简单(求导方便)与计算有效性,被广泛用于神经网络等领域。