神经网络进行二分类时，输出层使用两个神经元和只使用一个神经元，模型的性能有何差异，为什么？

理论上两者是没有差异的。分析如下：

1） 先引入Logistic函数和softmax函数的定义

logistic函数定义为： \[\operatorname{sigmoid} \left( x \right) = \frac{1}{{1 + {e^{ - x}}}}\] 。

logistic函数还可以称为sigmoid函数，expit函数（SciPy中即采用此名称）。

softmax函数定义为： \[\operatorname{softmax} \left( {\vec x} \right) = \frac{{{{\left[ {\exp \left( {{x_0}} \right), \cdots ,\exp \left( {{x_{n - 1}}} \right)} \right]}^T}}}{{\sum\nolimits_{i = 0}^{n - 1} {\exp \left( {{x_i}} \right)} }}\] 。

softmax函数是多元向量值函数。

2）再引入sigmoid和softmax交叉熵损失函数的数学形式

设数据集 \[S = \bigcup\nolimits_{i = 1}^N {\left\{ {\left\langle {{x_i},{y_i}} \right\rangle } \right\}} \] ， \[{y_i} \in \left\{ {0,1} \right\}\] 为label， \[{x_i}\] 为feature。

sigmoid交叉熵损失函数的数学形式：

\[\operatorname{sigmoid\_loss} \left( S \right) = - \frac{1}{N}\sum\limits_{i = 1}^N {\left[ {{y_i}\log \left( {\operatorname{sigmoid} \left( {{x_i}} \right)} \right) + \left( {1 - {y_i}} \right)\log \left( {1 - \operatorname{sigmoid} \left( {{x_i}} \right)} \right)} \right]} \]

softmax交叉熵损失函数的数学形式：

\[\operatorname{softmax\_loss} \left( S \right) = - \frac{1}{N}\sum\limits_{i = 1}^N {{{\vec e}^T}\left( {{y_i}} \right){{\log }^ \circ }\operatorname{softmax} \left( {{{\vec x}_i}} \right)} \]

其中 \[{f^ \circ }\left( \cdot \right)\] 表示按元素函数，例如 \[{\exp ^ \circ }\left( {\vec x} \right) = {\left[ {\exp \left( {{x_0}} \right){\text{,}}\exp \left( {{x_1}} \right){\text{,}} \cdots {\text{,}}\exp \left( {{x_{n - 1}}} \right)} \right]^T}\] 。 \[\vec e\left( y \right) = {\left[ {1\left\{ {y = 0} \right\}, \cdots ,1\left\{ {y = n - 1} \right\}} \right]^T}\] 是标签y的one-hot编码， \[1\left\{ {{x_i} = {x_j}} \right\} = \left\{ {\begin{array}{*{20}{c}} 1&{{x_i} = {x_j}} \\ 0&{{x_i} \ne {x_j}} \end{array}} \right.\] 是指示函数。

3）下面推导对于二分类上述两个loss的等效性

当 \[n = 2\] 时，因为 \[1\left\{ {y = 0} \right\} = \left\{ {\begin{array}{*{20}{c}} 1&{y = 0} \\ 0&{y \ne 0} \end{array}} \right. = \left\{ {\begin{array}{*{20}{c}} 1&{y = 0} \\ 0&{y = 1} \end{array}} \right. = 1 - y\] ，同理 \[1\left\{ {y = 1} \right\} = y\] ，所以 \[\vec e\left( y \right) = {\left[ {1 - {y},{y}} \right]^T}\] 。令 \[\vec x = {\left[ {{x_0},{x_1}} \right]^T}\] ，则

\[\operatorname{softmax} \left( {\vec x} \right) = \frac{{{{\left[ {\exp \left( {{x_0}} \right),\exp \left( {{x_1}} \right)} \right]}^T}}}{{\exp \left( {{x_0}} \right) + \exp \left( {{x_1}} \right)}} = \left[ {\begin{array}{*{20}{c}} {1 - \mathrm{sigmoid}\left( {{x_1} - {x_0}} \right)} \\ {\mathrm{sigmoid}\left( {{x_1} - {x_0}} \right)} \end{array}} \right]\] 。

所以

\[\begin{align} \operatorname{softmax\_loss} \left( S \right) &= - \frac{1}{N}\sum\nolimits_{i = 1}^N {{{\vec e}^T}\left( {{y_i}} \right){{\log }^ \circ }\operatorname{softmax} \left( {{{\vec x}_i}} \right)} \hfill \\ &= - \frac{1}{N}\sum\nolimits_{i = 1}^N {\left( {1 - {y_i}} \right)\log \left( {1 - \operatorname{sigmoid} \left( {{x_{{\text{1,}}i}} - {x_{{\text{0,}}i}}} \right)} \right) + {y_i}\log \operatorname{sigmoid} \left( {{x_{{\text{1,}}i}} - {x_{{\text{0,}}i}}} \right)} \hfill \\ \end{align} \]

这在形式上已经和 \[\operatorname{sigmoid\_loss} \left( S \right)\] 一样了。又由于深度学习可以自动学习特征，在最终性能上可以认为两者是等效的。