softmax（多类分类下为什么用softmax而不是用其他归一化方法）
本文目录
- 多类分类下为什么用softmax而不是用其他归一化方法
- softmax function是一个怎样的函数
- softmax的假设函数为什么是指数形式
- 数字图像中的softmax是什么意思
- softmax回归代价函数为什么是这样的
多类分类下为什么用softmax而不是用其他归一化方法
如果用 cross entropy 做 cost function 的话，backpropagation 的时候要针对 cross entropy 求导，并向后传导。假设当前样本的 label 为 ，对应输出层结点为， 那么 cost 是 ，求导可得 。这里面 就是从输出层开始还得往后传继续求导的部分。
这里在（即输出层输出的概率）比较小的时候，会出现 numerically unstable (overflow) 的情况，很容易就强撸灰飞烟灭了。而如果输出层是 softmax（或者二分类时的 sigmoid，其实可以看成 softmax 的一种特殊情况），这个分母部分刚好可以被 softmax 层的导数（部分）消除。
softmax function是一个怎样的函数
sigmoid拟合Bernoulli distribution(二项分布)，softmax拟合Multinomial distribution(多项分布)。
softmax的假设函数为什么是指数形式
交叉熵损失函数
在先前的教程中，我们已经使用学习了如何使用Logistic函数来实现二分类问题。对于多分类问题，我们可以使用多项Logistic回归，该方法也被称之为softmax函数。接下来，我们来解释什么事softmax函数，以及怎么得到它。
数字图像中的softmax是什么意思
Softmax 是一个函数
维基上的解释和公式是：
“softmax function is a generalization of the logistic function that maps a length-p vector of real values to a length-K vector of values”
如果某一个zj大过其他z,那这个映射的分量就逼近于1,其他就逼近于0，主要应用就是多分类，sigmoid函数只能分两类，而softmax能分多类，softmax是sigmoid的扩展。
softmax回归代价函数为什么是这样的
先理解max. 对一个三类问题，某样本经过NN处理后，最后一层输出值为[24,3,0.1]的话，那么经过max之后的结果为[1,0,0]。对不？
（至于为啥要max，输出结果本来挺奇怪 经过max以后就是categorical 的了，那么样本的类标就可以和他的预测值一起合体 直观地计算cost function。）
我们最需要的其实是max，但是max有个缺点就是不可导，没法用在dp里，于是有人就想出了softmax。思路就是指数级扩大最后一层的输出，每个值都会增大，然而最大的那个值相比其他值扩大的更多，然后归一化一下，考虑一下极限，如果最大值x_1经过指数运算后想对其他值为无穷大，那么exp(x_1)/exp(x_1)+others =1,其他输出值对应的为0。所以softmax模拟了max的行为，同时他还可导。
更多文章：
2026年10月15日 12:00
windows程序设计第五版（《WINDOWS程序设计》和《WINDOWS核心编程》的区别）
2026年10月15日 11:30
issued retroactively（FORM E上盖“ISSUED RETROACTIVELY”的问题，小女在线等待）
2026年10月15日 10:30
2026年10月15日 10:10
begin和start的区别（start与begin的区别）
2026年10月15日 09:20
vant官网中文（范特365 是韩国化妆品VANT36.5吗）
2026年10月15日 09:10
2026年10月15日 08:10
2026年10月15日 07:30
prison break（越狱（prison break）到底是在讲个什么）
2026年10月15日 06:50
c程序设计第五版教学视频（求C程序设计（第五版）谭浩强教材源代码、视频课件等电子版资料！谢谢大家！）
2026年10月15日 06:40
