AGI 是有可能实现的。从以下几个方面来看:
通用人工智能(AGI)这是AI领域的终极目标,应该也是人类发明了机器计算之后的终极进化方向。回顾机器之心六十多年的进化,我们似乎找到了方法,就是模仿人类的大脑。Machine Learning要完成这块拼图,需要有数据、算力还有模型的改进。数据应该是拼图中最容易实现的。按秒来计算,ImageNet数据集的大小已经接近人从出生到大学毕业视觉信号的数据量;Google公司创建的新模型HN Detection,用来理解房屋和建筑物外墙上的街道号码的数据集大小,已经可以和人一生所获取的数据量所媲美。要像人类一样,使用更少的数据和更高的抽象来学习,才是神经网络的发展方向。算力可以分解为两个部分:神经网络的参数(神经元的数量和连接)规模以及单位计算的成本。下图可以看到,人工神经网络与人脑的大小仍有数量级的差距,但它们在某些哺乳动物面前,已经具备竞争力了。配图29:神经网络规模和动物与人类神经元规模的对比我们每花一美元所能得到的计算能力一直在呈指数级增长。现在大规模基础模型所用到的计算量每3.5个月就会翻一番。配图30:122 years of Moore’s Law:每一美元产生的算力有些人认为,由于物理学的限制,计算能力不能保持这种上升趋势。然而,过去的趋势并不支持这一理论。随着时间的推移,该领域的资金和资源也在增加,越来越多人才进入该领域,因为涌现的效应,会开发更好的软件(算法模型等)和硬件。而且,物理学的限制同样约束人脑的能力极限,所以AGI可以实现。
Igor Babuschkin当我们说要理解宇宙时,并不仅仅是指我们想要理解宇宙,我们还希望能够让人们更容易理解宇宙,更好地了解现实,并通过互联网或现有知识来学习和利用它,所以我们非常热衷于提供早期的工具和产品,积极让公众参与其中,让我们看看这将引发哪些结果?Elon Musk是的,我们不会了解宇宙而不告诉任何人。所以,对于神经网络来说,目前的情况是,如果你拥有10兆瓦的GPU,实际上你无法比一个优秀的人类写一本更好的小说。一个优秀的人类使用的大约是10瓦的高阶大脑能量,不计算你操作身体所需的基本能量。我们有了6个数量级的差距。这是一个巨大的差距,实际上可以说有两个数量级可以用晶体管与突触的激活能解释。我可以说有两个数量级可以解释。但是剩下的四个数量级呢?或者即使有六个数量级的差距,你仍然无法超越一个聪明的人类写小说?而且今天,当你向最先进的AI问最复杂的技术问题时,比如如何设计更好的火箭发动机,或者关于电化学如何使电池更好等复杂问题,你只会得到无意义的答案。所以那对我们并不是很有帮助。所以我觉得我们在当前的做法上大大偏离了目标,有很多数量级的差距。基本上,AGI一直是靠蛮力去实现的。但实际上并没有取得成功。所以如果我看一下特斯拉的经验,随着时间的推移,我们发现实际上我们过于复杂化了问题。我不能详细说明特斯拉是如何解决问题的。但是可以说,从总体上看,答案比我们想象的要简单得多。但是,随着时间的推移,我们变得更加谦虚。所以我认为我们在AGI方面也可能会发现同样的情况。Toby Pohlen这就是工程师的本性,我们总是想自己解决问题,并将解决方案硬编码进去,但通常让计算机自己找到解决方案更有效。对我们来说更容易,也对我来说更容易。Jimmy Ba你可能需要更多由计算机生成的有趣问题。
来自Longjumping-Sky-1971的两篇帖子。我之所以包含这些,是因为他提前几周准确预测了GPT-4的发布日期(没有人事先公开发布这些信息,这意味着他有一个内部信息源)。他的帖子现在更有可信度——他声称图像和音频生成将在2023年第三季度进行训练。如果视频生成训练是同时进行的或紧随其后,这与Siqi Chen声称GPT-5在2023年12月完成训练的说法相吻合。直到2020年2月,也就是GPT-3发布前几个月。一篇来自《技术评论》的文章,这是关于OpenAI的“内部故事”,似乎表明OpenAI正处于一个“秘密”项目的早期阶段,涉及一个在图像、文本和“其他数据”上训练的AI系统,而且OpenAI的领导层认为这是实现AGI最有希望的方式。我在想这可能指的是什么。接下来将展示来自OpenAI总裁的一些引述——来自2019年——它将告诉你他们的计划是什么。OpenAI的总裁Greg Brockman在2019年表示,在微软当时投资了10亿美元之后,OpenAI计划在五年内构建一个与人类大脑大小相当的模型,而这正是他们实现AGI的计划。2019+5=2024.这两个信息源显然都在提到同一个实现AGI的计划——一个与人类大脑大小相当的AI模型,将在“图像、文本和其他数据”上进行训练,计划在2019年之后的五年内完成训练,也就是到2024年。这似乎与我在这份文件中列出的所有其他信息源相吻合...正如我将在接下来的几张幻灯片中展示的,AI领域的领导者们突然开始敲响警钟——几乎就像他们知道一些非常具体的信息,而这些信息普通大众并不知道。“我曾经认为这还需要30到50年,甚至更长的时间。显然,我现在不再这么认为了。”来自CNN的报道AI之父离开google的新闻。