Some important points Summary
Softmax VS Sogmoid
| Softmax | Sigmoid | |
|---|---|---|
| 公式 | $\sigma(z)_j =\frac{e^{z_j}}{\sum_{k=1}^{K}e^{z_k}} $ | $S(x)=\frac{1}{1+e^{-x}}$ |
| 本质 | 离散概率分布 | 非线性映射 |
| 任务 | 多分类 | 二分类 |
| 定义域 | 某个一维向量 | 单个数值 |
| 值域 | [0,1] | (0,1) |
| 结果之和 | 一定为 1 | 为某个正数 |
Sigmoid就是极端情况(类别数为2)下的Softmax。