resnet（resnet是什么激活函数避免过拟合）
本文目录
resnet是什么激活函数避免过拟合
首先，分类器本质上是一个数学优化问题，用最常见的最小二乘拟合举例，优化目标如下：「对于所有样本点，拟合函数在样本点处的函数值和样本点处实际的函数值之差的平方和最小」显然这是一个均方误差最小（MSE）准则。如果拟合函数足够好，那么这个函数值为零。现在我们换一种思路，假使一定要让MSE准则为零，可以得到：1、线性函数只能表达直线上的样本点，因此样本点不在同一条直线上的时候，上面的MSE准则函数值一定严格大于零。因此想让这个函数等于零，样本点至多不超过两个（暂不考虑解不存在的奇异情况）；2、对于任意三个点，使用二次函数能够保证MSE准则等于零（包括三点共线的退化情况）；n、对于任意多个点，总能找到一个足够高次数的多项式，使得对于所有点的MSE准则函数为零。我们称上述拟合效果为一个给定阶次多项式的「表达能力」。实际上在拟合过程中，多项式的表达能力并非越强越好。因为MSE准则只关注样本点处的拟合误差，因此非常强的表达能力会使得样本点之外的函数值远远偏离期望的目标，反而降低分类器的性能。
resnet 残差网络 为什么
2016年初最重要的两篇文章应该是
A. inception-V3
B. 深度残差网络
深度残差网络主要解决的问题是：
网络越深的时候，训练误差和测试误差都会加大。----早前的说法是 网络越深 越不容易收敛
resnet最后一次激活函数使用softmax
resnet最后一次激活函数使用softmax解决方法如下：
（1）.模型是否出现过拟合现象
猜测，模型可能过于复杂，出现过拟合现象，导致模型过度拟合训练数据，而不适用于验证数据集。
于是，为了验证这个猜想，我将训练数据集与验证数据集统一使用同一份，即数据迭代器都是同一份数据，但结果，训练准确率依然远高于验证准确率，可推测，并非模型过度拟合训练数据集。于是，我用同一份数据，对模型进行测试，得出结果是，准确率只有33%，即可以说明一个问题，模型是完全未拟合，那么，问题，为什么模型的训练准确率能达到100%呢？即使出现过拟合现象，训练集跟验证集一样的情况下，模型如若对训练集过度拟合，那么模型应该也对验证集过度拟合，验证准确率应该也达到100%才对。
（2）.训练集与验证集是否存在随机处理。
猜测，训练集与验证集是否存在一些随机的处理方式，比如随机旋转一定角度，亮度，色度的一定范围内的变化，那么在每次数据集迭代器进行迭代完一轮后，数据都做了一些处理，而当模型出现过拟合时，对训练集进行过度拟合后，数据集迭代器对数据进行数据处理，那么模型就没办法适用于做了数据处理后产生新的数据集。
但我将所有数据处理的手段都设置Flase，也即保证数据一直不做改变.的情况下，验证准确率依然只有33%，而训练准确率达到100%。
如何理解resnet中的deeper bottleneck architectures
去年的时候，微软一帮子人搞了个152层的神经网络！WTF！详情见论文！
论文太长了，今天只分析一下ResNet的核心内容之一，即“Deeper Bottleneck Architectures”（以下简称DBA），论文里的原图是这样的：
Deeper Bottleneck Architectures
说实话，画的不怎么样，右边的网络结构就是DBA啦！关于这张图，论文的作者是这么说的
Because of concerns on the training time that we can afford, we modify the building block as a bottleneck design.
就是说，作者考虑到自己GPU的计算能力有限，所以才采用了bottleneck design！说到底还是没钱上1080呗！不过2015年的时候1080还没出来，那他为什么不上TITAN，还是没钱呗！
言归正传，换成bottleneck design以后，网络的参数减少了很多，训练也就相对容易一些。然后我们再看一下原作中的ResNet全貌！
ResNet Architecture
来看50-layer那一栏，在进入到DBA层之前的网络比较简单，分别是：①卷积层“7×7, 64, stride 2“、②BN层、③ReLU层、④池化层“3×3 max pool, stride 2“，最终的输出结果是一个大小为 [batch_size, height, width, kernels] 矩阵，很简单，不再赘述，关于BN可以参考这里。
我们深入一下，再看第一个DBA内部，如下图
Inside a DBA
很显然，总共3×3=9层，可是原作毕竟篇幅有限，网络实现的细节不是很清楚，于是我就参考了Ryan Dahl的tensorflow-resnet程序源码，按照Ryan Dahl实现的ResNet，画出了DBA内部网络的具体实现，这个DBA是全网络中第一个DBA的前三层，输入的image大小为[batch_size,56,56,64]，输出大小为[batch_size,56,56,256]，如下图
Ryan Dahl’s DBA
图已经说的很清楚啦！之后的网路就是N个上图的结构叠加！我不太想做过多的说明了，一切尽在图中！！
更多文章：
2026年10月15日 12:00
windows程序设计第五版（《WINDOWS程序设计》和《WINDOWS核心编程》的区别）
2026年10月15日 11:30
issued retroactively（FORM E上盖“ISSUED RETROACTIVELY”的问题，小女在线等待）
2026年10月15日 10:30
2026年10月15日 10:10
begin和start的区别（start与begin的区别）
2026年10月15日 09:20
vant官网中文（范特365 是韩国化妆品VANT36.5吗）
2026年10月15日 09:10
2026年10月15日 08:10
2026年10月15日 07:30
prison break（越狱（prison break）到底是在讲个什么）
2026年10月15日 06:50
c程序设计第五版教学视频（求C程序设计（第五版）谭浩强教材源代码、视频课件等电子版资料！谢谢大家！）
2026年10月15日 06:40
