第14章 万事俱备（3/4）

将简洁好用的结构反复重复，这也大大地降低了孟繁岐所需要的开发工程量。

AlexNet是八层的结构，各自有一些dú • lì的设计，在此时，8层已经是革命性的深度网络了。

更深的网络特别难以训练，因此原本直到14年，谷歌和牛津才分别把这个深度推进到22层和19层。

而ResNet的思想，彻底从根本上解决了网络变深就没法顺利训练的问题。它让50，100，150，甚至1000层网络的训练成为可能。

“从去年的8，到今年的100+层，甚至1000层也可以训练。在2013年的视角来看，这一剂猛药应该够劲了。”

不仅是深度上取得了开创性的突破，ResNet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构，单模型达到了%左右。

如果综合几个不同方式训练的ResNet，平均他们的输出再去预测的话，其TOP-5错误率甚至低至%。

“其实在IMAGENET上做得太准了反而是一件怪事。”考虑到后世的研究中，该数据集中的标签其实有不小的比例是错误的，越贴近百分之百的准确率反而越有一些荒诞的感觉。

ResNet的Res指residual，正经点说是残差，说得明白一些是一种短路或者是跳跃链接。

再说的浅显一点，假设原本的操作为f(x)，ResNet就是把计算过程从f(x)改为f(x)+x。

这也是孟繁岐最早与付院长讨论的内容之一。

这种不带任何参数的支路链接，直接把操作前的内容加到操作后的内容上，是深度网络突然能够在上千层的深度下收敛的秘密所在。

在此之后的几乎所有AI文章，都很难绕得开这个思路。恺明本人单就这一篇文章，就在六七年的时间内收获了十五六万的文章引用。