吴恩达

吴恩达（Andrew Ng）是一位在人工智能领域享有盛誉的科学家和教育者。他在机器学习、统计学和人工智能领域做出了重要贡献，并且是在线教育平台Coursera的联合创始人。吴恩达曾在斯坦福大学担任副教授，并领导了谷歌的大脑项目（Google Brain）。此外，他还曾担任百度公司首席科学家，并领导百度研究院。吴恩达以其在深度学习和大规模机器学习系统方面的研究而闻名，他在这些领域的工作推动了人工智能技术的商业应用和普及。他还是多个人工智能和机器学习开源项目的倡导者，包括TensorFlow和Caffe。除了在学术界和工业界的贡献，吴恩达还致力于普及人工智能教育。他教授的机器学习课程是斯坦福大学和Coursera上最受欢迎的在线课程之一，吸引了全球数百万学生的参与。通过他的教学和研究工作，吴恩达对人工智能领域的发展产生了深远的影响。内容由AI大模型生成，请仔细甄别。

在这个案例中利用GPU而不是CPU到底能变得有多快很难说清楚，但是同年《Large-scale Deep Unsupervised Learning using Graphics Processors》这篇论文给出了一个数字：70倍。是的，70倍，这使得数以周记的工作可以被压缩到几天就完成，甚至是一天。之前研发了分散式代码的作者中包括高产的机器学习研究者吴恩达，他逐渐意识到利用大量训练数据与快速计算的能力在之前被赞同学习算法演变愈烈的研究员们低估了。这个想法在2010年的《Deep Big Simple Neural Nets Excel on Handwritten Digit Recognition》（作者之一J.Schimidhuber正是递归LTSM网络（recurrent LTSM networks）的投资者）中也得到了大力支持，展示了MNIST数据库能够达到令人惊叹的0.35%错误率，并且除去大型神经网络、输入的多个变量、以及有效的反向传播GPU实现以外没有任何特殊的地方。这些想法已经存在了数十年，因此尽管可以说算法的改进并不那么重要，但是结果确实强烈表明大型训练数据集与快速腭化计算的蛮力方法是一个关键。Dahl与Mohamed利用GPU打破记录是一个早期且相对有限的成功，但是它足以激励人们，并且对这两人来说也为他们带来了在微软研究室实习的机会。在这里，他们可以享受到那时已经出现的计算领域内另一个趋势所带来的益处：大数据。这个词语定义宽松，在机器学习的环境下则很容易理解——大量训练数据。大量的训练数据非常重要，因为没有它神经网络仍然不能做到很好——它们有些过拟合了（完美适用于训练数据，但无法推广到新的测试数据）。这说得通——大型神经网络能够计算的复杂度需要许多数据来使它们避免学习训练集中那些不重要的方面——这也是过去研究者面对的主要难题。因此现在，大型公司的计算与数据集合能力证明了其不可替代性。这两个学生在三个月的实习期中轻易地证明了深度学习的能力，微软研究室也自此成为了深度学习语音识别研究的前沿地带。

神经网络是机器学习文献中的一类模型。例如，如果你参加了Coursera的机器学习课程，很可能会学到神经网络。神经网络是一套特定的算法，它彻底改变了机器学习领域。他们受到生物神经网络的启发，目前深度神经网络已经被证实效果很好。神经网络本身是一般的函数逼近，这就是为什么它们几乎可以应用于任何从输入到输出空间复杂映射的机器学习问题。以下是说服你学习神经计算的三个理由：了解大脑是如何工作的：它非常大且很复杂，一旦破坏就会脑死亡，所以我们需要使用计算机模拟。了解受神经元及其适应性连接启发的并行计算风格：这种风格与序列计算截然不同。使用受大脑启发的新颖学习算法来解决实际问题：即使不是大脑的实际工作方式，学习算法也非常有用。在完成吴恩达的Coursera机器学习课程后，我开始对神经网络和深度学习产生兴趣，因此寻找最好的网上资源来了解这个主题，并找到了Geoffrey Hinton的机器学习神经网络课程。如果你正在做深度学习的工程或想要踏入深度学习/机器学习的领域，你应该参加这个课程。Geoffrey Hinton毫无疑问是深度学习领域的教父，在课程中给出了非凡的见解。在这篇博客文章中，我想分享我认为任何机器学习研究人员都应该熟悉的八个神经网络架构，以促进他们的工作。一般来说，这些架构可分为三类：1.前馈神经网络这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为「深度」神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。2.循环网络循环网络在他们的连接图中定向了循环，这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态，使其很难训练。他们更具有生物真实性。