---

聊一下学霸+商业的剧情 (1 / 2)
        这本书是按照学霸+读书创业的方向来走的。

        有朋友说，高中因为有高考主线，所以还很好，但上了大学马上就“高开低走”。

        这是我的问题，我并没有考虑到并不是每个人都能清楚神经网络大模型的发展历程，重要时间段。

        如书中所言，现实中，神经网络/深度学习领域，进入90年代后一直遇冷到了2006年——直到辛顿在nature上提出深度信念网络，NIVDIA开启CUDA，李飞飞创建Image数据集。

        直到这时，算法，算力，数据，三驾马车勉强凑齐。

        但深度学习领域还是冷。

        （可能大家听过一个笑话，X度的自动驾驶里面，有上百万个if else……）

        那会为了提高研究热情，李飞飞让人免费用数据集又搞训练比赛……

        可以说，大模型就是一帮坐冷板凳的科学家坚持走出来的。

        现在回到书中，时间是2000年。

        大家有个普遍的误区是认为有算力、超算就可以搞训练。

        不是的，深度信念网络（DBN）逐层预训练是串行逻辑，分布式只会增加延迟，而超算都是分布式集群的，哪怕银河二号超级计算机，都不如一块奔腾4跑得快。

        但你说能训不呢？那当然还是能的。

  The content is not finished, continue reading on the next page

---

新笔趣阁阅读网址：wap.xinbiquge.org