这下教室里安静了下来。
姚先生这里其实就是在说AI模型了。
如果模型的参数比已知的数据点还要多，为了死死踩中这七个点，这条曲线就势必会在空隙处剧烈震荡，把真实的走势扯得稀烂。
这也是算法界永远绕不开的一道坎——偏差与方差的权衡。
简单的说就是模型太简单了脑容量不够，这叫叫欠拟合。
模型太复杂了又会把数据里那些干扰项当成真理给记下来，当你换道它没见过的新题时，它就会当场抓瞎，这就叫过拟合。
参数越多，这过拟合的症状，理论上就越致命。
几十年来，大家都是这么觉得的。
“可现在的事，邪门就邪门在这儿。”
姚先生在“一百万”那个数字底下画了道线。
“我们今天拿来用的那些大模型，参数动辄上千亿，远比喂给它的数据还多。”
“照理说它们早该过拟合到没法看了。”
“可它们偏偏没有。”
“它们不光没烂，反而学得一个比一个好。”
他转过身在黑板上写下三个字。
【为什么？】
接下来，姚先生才真正进了正题。
他要讲的是过参数化网络的损失景观。
所谓损失景观，可以想象成一片起伏的山地。
模型里每一个参数，都是一个能拧的旋钮，上千亿个旋钮拧出来的每一种组合，都对应着这片地面上的一个点，而这个点的海拔高低，就是模型在这种组合下犯的错有多大。
对大模型的训练，就是从山上某处出发，顺着最陡的方向往下走，一步一步去找那片地势最低的点。
这个往下走的法子，就叫做叫梯度下降。
按理说旋钮一多，这片山地的地形就该复杂得吓人，陷阱遍地，随便掉到哪个坑里就再也出不来了。
可数学告诉你的，这样不对！
在参数足够多的时候，那片山地最低处的点，根本就不是一个单独存在的。
它是连成一大片的谷底。
你随便滚进哪一个里，几乎都能滚到一样低的地方去。
“既然谷底连成了片，那问题就来了，”姚先生继续说道，“同样是滚到最低，梯度下降它会挑哪一个落脚？”
这才是真正要命的地方。
这上千亿个旋钮，能把训练数据完美拟合的组合
本章未完，请点击下一页继续阅读！