、于是就出现了随机梯度下降(stochastic gradient descent)算法，是对于梯度下降的一个近似。

在这个算法中，每次学习不再针对所有的训练集，而是从训练集中随机选择一部分来计算c(w，b)，下一次学习再从剩下的训练集中随机选择一部分来计算，直到把整个训练集用光。然后再不断重复这一过程。

深度神经网络（具有多个hidden layer）比浅层神经网络有更多结构上的优势，它有能力从多个层次上进行抽象。

从上个世纪八九十年代开始，研究人员们不断尝试将随机梯度下降算法应用于深度神经网络的训练，但却碰到了梯度消失(vanishing gradient)或梯度爆发(exploding gradient)的问题，导致学习过程异常缓慢，深度神经网络基本不可用。

然而，从2006年开始，人们开始使用一些新的技术来训练深度网络，不断取得了突破。这些技术包括但不限于：

采用卷积网络(convolutional networks)；

regularization (dropout)；

rectified linear units；

利用gpu获得更强的计算能力等。

深度学习的优点显而易见：这是一种全新的编程方式，它不需要我们直接为要解决的问题设计算法和编程，而是针对训练过程编程。

网络在训练过程中就能自己学习到解决问题的正确方法，这使得我们可以用简单的算法来解决复杂的问题，而且在很多领域胜过了传统方法。

而训练数据在这个过程发挥了更重要的作用：简单的算法加上复杂的数据，可能远胜于复杂的算法加上简单的数据。

深度网络往往包含大量的参数，这从哲学原则上不符合奥卡姆剃刀原则，通常人们要在调整这些参数上面花费巨大的精力；

训练深度网络需要大量的计算力和计算时间；

过拟合(overfitting)问题始终伴随着神经网络的训练过程，学习过慢的问题始终困扰着人们，这容易让人们产生一种失控的恐惧，同时也对这项技术在一些重要场合的进一步应用制造了障碍。

而betacat的故事，所讲的就是一个人工智能程序，通过自我学习，最终逐渐统治世界的故事。

那么，现在的人工智能技术的发展，会导致这种情况发生吗？这恐怕还不太可能。一般人认为，大概有两个重要因素：

第一，以现在的人工智能来说，它的自我学习还是限定在人们指定的方式，只能学习解决特定的问题，仍然不是通用的智能。

第二，现在对于人工智能的训练过程，需要人们为其输入规整化的训练数据，系统的输入输出仍然对于数据的格式要求很严格，这也意味着，即使把人工智能程序连到网上，它也不能像betacat那样对于互联网上海量的非结构化数据进行学习。

然而这仅仅是对普通的人工智能，但是对起源这样真正的网络智能生命来说，以上两点要求它完全都能够做到。