神经网络是机器学习文献中的一类模型，受到生物神经网络的启发，是一种特定的算法，能应用于从输入到输出空间复杂映射的各类机器学习问题。
神经网络的发展历程如下：
神经网络的架构主要分为三类：
Geoffrey Hinton 对神经网络的发展做出了重要贡献。早在 80 年代初期，他和同事开展研究时，因电脑性能限制成果有限，且当时 AI 主流研究方向不同，处境艰难。但他们坚持下来，到 2004 年创立了 Neural Computation and Adaptive Perception 项目。随着时间推移和计算机能力发展，神经网络更加快速、灵活、高效和可扩展。
神经网络可用于解决分类和回归等问题，在多个输出值的函数或具有多个类别的分类任务中，多输出函数能用位于同一层的多个感知机来学习。
[title]深度｜神经网络和深度学习简史（第一部分）：从感知机到BP算法[heading1]虚假承诺的荒唐这个过程很简单，产生了一个简单的结果：一个输入线性函数（加权和），正如线性回归被非线性激活函数「压扁」了一样（对带权重求和设定阈值的行为）。当函数的输出值是一个有限集时（例如逻辑函数，它只有两个输出值True/1和False/0），给带权重的和设置阈值是没问题的，所以问题实际上不在于要对任何输入数据集生成一个数值上连续的输出（即回归类问题），而在于对输入数据做好合适的标签（分类问题）。康奈尔航天实验室的Mark I感知机，第一台感知机的硬件罗森布拉特用定制硬件的方法实现了感知机的想法（在花哨的编程语言被广泛使用之前），展示出它可以用来学习对20×20像素输入中的简单形状进行正确分类。自此，机器学习问世了——建造了一台可以从已知的输入输出对中得出近似函数的计算机。在这个例子中，它只学习了一个小玩具般的函数，但是从中不难想象出有用的应用，例如将人类乱糟糟的手写字转换为机器可读的文本。很重要的是，这种方法还可以用在多个输出值的函数中，或具有多个类别的分类任务。这对一台感知机来说是不可能完成的，因为它只有一个输出，但是，多输出函数能用位于同一层的多个感知机来学习，每个感知机接收到同一个输入，但分别负责函数的不同输出。实际上，神经网络（准确的说应该是「人工神经网络（ANN，Artificial Neural Networks）」）就是多层感知机（今天感知机通常被称为神经元）而已，只不过在这个阶段，只有一层——输出层。所以，神经网络的典型应用例子就是分辨手写数字。输入是图像的像素，有10个输出神经元，每一个分别对应着10个可能的数字。在这个案例中，10个神经元中，只有1个输出1，权值最高的和被看做是正确的输出，而其他的则输出0。
[title]入门|机器学习研究者必知的八个神经网络架构神经网络是机器学习文献中的一类模型。例如，如果你参加了Coursera的机器学习课程，很可能会学到神经网络。神经网络是一套特定的算法，它彻底改变了机器学习领域。他们受到生物神经网络的启发，目前深度神经网络已经被证实效果很好。神经网络本身是一般的函数逼近，这就是为什么它们几乎可以应用于任何从输入到输出空间复杂映射的机器学习问题。以下是说服你学习神经计算的三个理由：了解大脑是如何工作的：它非常大且很复杂，一旦破坏就会脑死亡，所以我们需要使用计算机模拟。了解受神经元及其适应性连接启发的并行计算风格：这种风格与序列计算截然不同。使用受大脑启发的新颖学习算法来解决实际问题：即使不是大脑的实际工作方式，学习算法也非常有用。在完成吴恩达的Coursera机器学习课程后，我开始对神经网络和深度学习产生兴趣，因此寻找最好的网上资源来了解这个主题，并找到了Geoffrey Hinton的机器学习神经网络课程。如果你正在做深度学习的工程或想要踏入深度学习/机器学习的领域，你应该参加这个课程。Geoffrey Hinton毫无疑问是深度学习领域的教父，在课程中给出了非凡的见解。在这篇博客文章中，我想分享我认为任何机器学习研究人员都应该熟悉的八个神经网络架构，以促进他们的工作。一般来说，这些架构可分为三类：1.前馈神经网络这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为「深度」神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。2.循环网络循环网络在他们的连接图中定向了循环，这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态，使其很难训练。他们更具有生物真实性。
[title]Geoffrey Hinton是这个人，一步步把“深度学习”从边缘课题变成Google等网络巨头仰赖的核心技术他不知道所有的答案，但在他的努力之下已经取得了进展。“我非常兴奋，我们改进了神经网络，而这是一个比较接近大脑真实工作的方式。”他很高兴的说到。在Hinton的世界里，神经网络本质上就像一个运行在多层面上的软件。他和他的伙伴建立了一层层互相连接的人工神经元模型，模仿大脑的行为，处理视觉和语言等复杂问题。这些人工神经网络可以收集信息，也可以对其做出反应。它们能对事物的外形和声音做出解释。它们对语言的理解也在进步。它们可以自行学习与工作，而不需要人为提示或者参与控制。这些正是它们与传统的学习机器的区别。随着时间的推移，计算机能力的发展，神经网络也更加快速，灵活，高效，得到了很好的扩展。因为这一切已经酝酿了30年了。从非主流到核心技术早在80年代初期，当Hinton和他的同事们刚开始这项研究时，那时的电脑还不够快，不足以处理有关神经网络的这些庞大的数据，他们取得的成就是有限的。而当时AI普遍的研究方向也与他们相反，都在试图寻找捷径，直接模拟出行为，而不是试图通过模仿大脑的运作来实现。在这样艰难的环境下，Hinton和LeCun仍旧坚持了下来。就算到了2004，学术界对他们的研究仍未提起兴趣。而这时距离他们首次提出“反向传播”算法已经过了20年。这个算法是他们神经网络研究的垫脚石。但也就在这一年，靠着少量的来自Canadian Institute for Advanced Research（CIFAR）以及LeCun和Bengio的资金支持，Hinton创立了Neural Computation and Adaptive Perception（NCAP，神经计算和自适应感知）项目。该项目邀请了来自计算机科学，生物，电子工程，神经科学，物理学和心理学等领域的专家参与。