APP下载

Ilya Sutskever:ChatGPT 的幕后天才

2023-10-23俞灵琦

华东科技 2023年9期
关键词:神经元神经网络实验室

本刊记者/俞灵琦

正是在Ilya Sutskever 的领导下,OpenAI在开发尖端技术和推动人工智能领域的发展方面取得了重大进展。

ChatGPT,因其更高的智能程度、更宽泛的领域知识、更灵活的响应能力、更自然的对话语境使整个互联网都受到极大的冲击。可以说,ChatGPT 的成功不应仅仅被看作新一代聊天机器人的突破,而应该重视其对人工智能乃至整个信息产业带来的革命。

近日,人工智能实验室OpenAI 又丢下一颗“重磅炸弹”。据官方推特宣布,安卓版ChatGPT 已在美国、印度、孟加拉国和巴西提供下载,并计划在近期推广至更多国家。ChatGPT正在拓展渠道,获得更多的用户和更强的使用粘性,在引发人工智能领域引发新一轮科技竞赛同时,也让生成式AI 的浪潮在持续推高。

随着ChatGPT 的横空出世,我们不应忘记在它背后默默无闻的天才。Ilya Sutskever 是OpenAI 的联合创始人和首席科学家。正是在他的领导下,OpenAI 在开发尖端技术和推动人工智能领域的发展方面取得了重大进展。

求知不息,前行不止

Ilya Sutskever 出生在俄罗斯,在以色列长大,16 岁时他的父母移居加拿大。Ilya Sutskever 的父母希望全家过上更好的生活,但移居美国通常比移居加拿大更复杂,而当你搬到加拿大时,多伦多通常是第一个去的地方。

“我的父母说我从小就对AI很感兴趣。我也很受意识的激励。我对它感到非常不安,我对可以帮助我更好地理解它的事物感到好奇。”Ilya Sutskever 谈道,“因为我们搬到了加拿大,我立即能够加入多伦多大学。我真的很想做机器学习,因为那似乎是人工智能最重要的方面,在当时是完全无法接近的。”

在这样的热情下,Ilya Sutskever 在多伦多大学读本科期间,遇见了对于他而言在人工智能领域重要的导师——深度学习三巨头之一的Geoffrey Hinton 教授。

Geoffrey Hinton,加拿大认知心理学家和计算机科学家,被誉为“人工智能教父”。他现任谷歌副总裁兼工程研究员,同时在多伦多大学教书育人,也是VectorInstitute首席科学顾问。2018 年因作为“深度学习领域的三大先驱之一”获得图灵奖,被彭博社选为2017 年改变全球商业格局的50 人。

Ilya Sutskever 想加入Geoffrey Hinton 教授的深度学习实验室。于是,他在某天直接敲开Geoffrey Hinton 教授办公室的门,询问自己是否可以加入实验室。教授让他提前预约,但Ilya Sutskever 不想再浪费时间,所以他立即问:就现在怎么样?

Geoffrey Hinton 意识到Ilya Sutskever 是一个敏锐的学生,于是给他2 篇论文让他阅读。1 周后,Sutskever 回到教授办公室,然后告诉教授他不理解。

“为什么不理解?”教授问。

Ilya Sutskever 解释说:“人们训练神经网络来解决问题,当人们想解决不同问题时,就得用另外的神经网络重新开始训练。但我认为人们应该有一个能够解决所有问题的神经网络。”

这段话展示了Ilya Sutskever 得出结论的独特能力,而这种能力即使是有经验的研究人员也需要花费数年时间才能找到,Geoffrey Hinton 于是向他发出邀请,希望他加入自己的实验室。这也开启了Ilya Sutskever 的人工智能梦。

“多亏与Geoffrey Hinton 合作,我才有机会研究我们这个时代最重要的一些科学问题,并追求大多数科学家都非常不理解,结果却是完全正确的那些想法。”Ilya Sutskever 表态道。

坚守初心,梦圆Open AI

“智力究竟是如何运作的呢?我们怎样才能使计算机稍微智能一点呢?我有一个非常明确的意图,即为AI 做出很小但真正的贡献。所以,我能理解智力是如何运作的吗?并为此做出贡献?这是我最初的动机。”Ilya Sutskever 说道。

带着这份初心,Ilya Sutskever 在人工智能道路上前行着,然而一开始却并不顺利。Ilya Sutskever 一直记得2000 年前后在Geoffrey Hinton 的实验室工作的时光。他表示,当时还是“人工智能冬季”,有10个左右的学生在Geoffrey Hinton 的实验室做研究,那时人工智能研究领域的工作和资金都很匮乏,而且来自行业的资助也越来越少。“我们是局外人,但我们觉得我们有一种罕见的洞察力,觉得我们与众不同。”Ilya Sutskever 说道。

带着这份信心,Ilya Sutskever 继续保持着对于人工智能领域的探索。终于在2012 年,在Geoffrey Hinton 的指导下,Ilya Sutskever 和博士生同学Alex Krizhevsky 开发了AlexNet,它在2012 年ImageNet LSVRC-2012 的比赛中脱颖而出。

Ilya Sutskever 和Alex Krizhevsky 打破了传统的手工设计方案,采用了深度神经网络,并突破了75%的准确率大关。因此他们赢得了ImageNet 竞赛,从那时起,图像识别领域焕然一新。

更重要的是,AlexNet 让Ilya Sutskever 意识到深度学习可以解决任何模式识别问题——只要你有大量深度神经网络训练的数据。

对于神经网络训练,Ilya Sutskever曾谈道:“我意识到,如果你在一个足够大的数据集上训练大型神经网络,该数据集指定了人们所做的一些复杂任务,比如视觉,那么你必然会成功。它的逻辑是不可简化的;我们知道人脑可以解决这些任务,并且可以快速解决。而人脑只是一个神经元速度较慢的神经网络。因此,我们只需要采用一个较小但相关的神经网络并在数据上对其进行训练。计算机内部最好的神经网络将与我们大脑中执行此任务的神经网络有关。”

此后,带着对于人工智能领域的新思路,Ilya Sutskever 进入谷歌不断深耕积累。在谷歌的团队,Ilya Sutskever 参与了谷歌用于大规模机器学习的开源框架TensorFlow 的开发,提出的Seq2seq 给机器翻译带来了革命,也与DeepMind 的研究人员保持联系,是AlphaGo 登上《自然》封面论文的作者之一。

2015 年7 月,Ilya Sutskever 参加了Y Combinator 总裁Sam Altman 举办的晚宴,在那里他邂逅了此后将改变他命运的人——Greg Brockman。据说当时,在场的每个人都同意一件事:一个致力于发展通用人工智能的组织必须是非营利组织,没有任何竞争性激励来淡化其使命,它还需要世界上最好的人工智能研究人员。

思想的交汇促使梦想种子加速生根发芽,在Greg Brockman 的邀请下,2015 年12 月,Ilya Sutskever 迈出了梦想开启的那一步。Ilya Sutskever 和其他几名研究人员聚集在一起,尝试是否还有可能与该领域最优秀的人才组成一个研究实验室。当讨论到这个将成为OpenAI 的实验室时,Ilya Sutskever 意识到他找到了一群志同道合的人,他们与他的信念和愿望相同。

谷歌知道这件事后,向Ilya Sutskever提供了一笔可观的金额来加入他们。被拒绝后,谷歌将他们的薪资提高到第一年近200万美元,这是OpenAI 要付给他的两三倍。但Sutskever 还是愉快地放弃了谷歌数百万美元的工作机会,最终成为非营利组织OpenAI的联合创始人。

这样的抉择印证了Ilya Sutskever 的憧憬:“有可能在我们的有生之年,我们将建立一个在每个有意义的维度上都具有认知能力的人工智能系统。”

“以最有可能造福人类的方式推进数字智能并使之成为一个整体”——汇聚着多位像Ilya Sutskever 这样先驱者的梦想,Open AI 扬帆起航。

奔跑在人工智能的最前沿

2022 年12 月初,人工智能实验室Open AI 发布了一款名为ChatGPT 的自然语言生成模型。

多语言撰写充满想象力的诗歌,编写可运行的程序,快速生成论文摘要,自动制作数据表格,纠正文章中的语法和表达错误,把一周大事写成新闻综述……ChatGPT 不仅能理解很多人类问题和指令,流畅展开多轮对话,也在越来越多领域显示出解决多种通用问题的能力。可以说,ChatGPT 不仅是新一代聊天机器人的突破,也将为信息产业带来巨大变革。

据官方数据显示,ChatGPT 的用户数量在上线5 天后正式突破100 万。除了暴涨的用户数量,ChatGPT 也成为了新的流量密码,截至发稿时间,无论是专业媒体还是社交媒体,都充斥着关于ChatGPT 的讨论。查阅百度指数、微信指数等几个国内的主流热点趋势指数可知,在过去的两周里,ChatGPT 的热度一度超过Alpha GO 的峰值。

“AI 即将取代人类”这一议题也再次引发了广泛的公共讨论。而在这一系列的讨论里,“AI 将取代大量人类工种”“谷歌即将迎来末路”是最为广泛的观点,AI 与人类一较高下的时代似乎正在来临。

我们把时间线再退回到Ilya Sutskever刚进入Open AI 的时期,Ilya Sutskever 领导OpenAI 发明了GPT-1,随后发展到GPT-2、GPT-3 和ChatGPT。GPT(Generative Pretrained Transformer)模型是一系列基于神经网络的语言模型。GPT 模型的每一次更新换代,都是自然语言处理领域的突破性进展。

在Ilya Sutskever 的眼里,人脑是世界上最好的智能。人脑是由大量的神经元组成的,有非常多的神经元。神经科学家已经研究神经元几十年了,试图理解它们是如何精确工作的。虽然生物神经元的运作仍然神秘,但20 世纪40 年代最早的深度学习研究人员提出了一个非常大胆的猜想:计算机人工神经网络中的神经元,有点类似于生物神经元,这是一个假设。

“我们现在可以用这个假设来运行这些人工神经元,它们要简单得多,你可以用数学方法来研究它们。这是一个非常重要的突破。深度学习是反向传播算法的发现所导致的,反向传播算法是这些人工神经网络应该如何学习的数学方程。它为我们提供了一种使用大型计算机并在代码中实现这种神经网络的方法。”Ilya Sutskever 说道。

在这基础上,Ilya Sutskever 进一步阐述GPT 的原理:“GPT 这个大型语言模型的想法是,如果你有一个非常大的神经网络,我们训练它们从文本的一堆单词中猜测下一个单词是什么。你训练一个大的神经网络从文本中的前一个单词猜测下一个单词,你希望神经网络尽可能准确地猜测下一个单词。现在发生的事情是,我们需要回到最初的假设:也许生物神经元和人造神经元没有什么不同。因此,如果你有一个像这样的大型神经网络,可以很好地猜测下一个单词,也许它与人们说话时所做的没有什么不同。”

如今,ChatGPT 已经来到了4.0。作为GPT 系列的最新一代产品,与ChatGPT3.0 相比,ChatGPT4.0 在性能和效果上都有了显著提升,主要体现在它的技术架构的创新与升级。据悉,GPT-4 在律师资格考试中可以击败90%的考生。在满分1600 分的美国大学入学测验SAT 拿到1300 分。更精准,能提供的事实性描述更多了,正确性也加强了,学会新能力,现在不但可以回应文字,也可以回应图片。摘要能力直逼专业编辑。

此外,在Ilya Sutskever 的努力下,过去的数年里Open AI 取得了许多惊人的成就:他们创建了一个名为Universe 的软件平台,用于测量和训练全球各地的人工智能系统。它旨在让机器人学习不同的策略;他们创造了人工智能的游戏玩家,在复杂的多人竞技游戏Dota2 中,他们有能力击败99.95%全球玩家;他们还建立了能完成日本相扑摔跤或者踢足球的虚拟机器人。

对于人工智能的前景和作用,Ilya Sutskever 认为:“任何时候社会上有复杂的情况,哪怕是在一个公司,哪怕是一个中等规模的公司,都已经不是任何一个人所能理解的了。而且我认为,如果我们以正确的方式构建AI 系统,我认为AI 几乎可以在任何情况下提供难以置信的帮助。”

猜你喜欢

神经元神经网络实验室
《从光子到神经元》书评
神经网络抑制无线通信干扰探究
电竞实验室
电竞实验室
电竞实验室
电竞实验室
跃动的神经元——波兰Brain Embassy联合办公
基于神经网络的拉矫机控制模型建立
复数神经网络在基于WiFi的室内LBS应用
基于二次型单神经元PID的MPPT控制