当AI研究者写科幻,与Meta田渊栋聊他的智能想象:我们终会“所思即所得”

Table of contents
  1. 欢迎收听《晚点聊》
  2. 嘉宾介绍与科幻小说创作背景
  3. 关于科幻小说《破晓之中》
  4. 本期节目大纲
  5. 田渊洞的自我介绍及小说创作历程
  6. 《破晓之中》情节梗概
  7. 小说中的AI技术思维
  8. 小说中的科幻与现实生活
  9. AI与未来世界
  10. 虚拟世界与现实世界的分歧
  11. 人类的最终命运:虚拟永生与星际航行
  12. 虚拟世界带来的挑战
  13. 虚拟世界中的经济系统
  14. 结尾悬念:梦中梦的结局
  15. 银河联盟的目的
  16. 所思及所得的科技状态及其风险
  17. AI对工作和社会的短期冲击
  18. AI带来的中期社会变化:内卷
  19. AI带来的长期社会变化:自由与多样化
  20. AI能否取代AI研究员?
  21. 当前AI在科研中的能力与局限
  22. 人类与AI研究方法的本质差异
  23. AI研究员的现实生活与选择
  24. 博士阶段的艰苦与选择
  25. 科研中的内在驱动与自信建立
  26. 小说中的两类研究者风格
  27. 技术团队的领导力与协作
  28. 技术领导者的演变趋势
  29. 优秀的合作者特质
  30. 小说人物:安德森与原创精神
  31. AI研究员与创作者的双重身份
  32. 用AI辅助小说创作的体验
  33. 不同AI模型在写作上的表现差异
  34. AI辅助写作的工作流程
  35. AI对创作状态和流程的影响
  36. 人类与AI协作创作
  37. 双重身份带来的独特体验
  38. 人类遗产信息:留给宇宙的记录
  39. 遗产信息中科技与文化的选择
  40. 遗产信息中对AI的描述
  41. 模式识别的发展:从人工特征到神经网络
  42. 模式识别的未来方向
  43. 人类文化遗产:推荐的科幻小说
  44. 结语与致谢
  45. 本期节目补充信息与回顾

当AI研究者写科幻,与Meta田渊栋聊他的智能想象:我们终会“所思即所得”

欢迎收听《晚点聊》,我是曼琪。这是IAI的第二期。

这个系列会讨论AI和我们日常工作与生活的关系。这一期的嘉宾是Meta Gen AI研究总监田渊洞。他既是AI研究者,自2005年开始探索智能和人工智能。

最近十年他一直在Meta从事AI研发。田渊洞也有另一重职业生涯,做一名小说家。从博士生期间开始,他就陆陆续续地写小说。在2021年连载完了第一部长篇科幻小说《破晓之中》。这本书在2024年正式出版。《破晓之中》是写作于ChatGPT热潮之前的书,全部内容都是人写的,没有AI。

而书里的核心科幻概念和点子则体现了一个AI科学家的技术思维。田渊洞认为,每个技术时代,工业时代、电器时代、信息时代、智能时代,都对应不同的科幻命题和故事。他就是想写出有AI内核的科幻。回头看,书里的一些核心设计,预言了后来围绕算力与智能的攻防战,也讨论了当人类不再需要工作时,可能会带来什么危机。

这一期我们会从《破晓之中》这本书开始聊,延展到田渊洞对未来AI技术、社会与人类命运的想象。因为这本书里的主角和英雄们是一群研究者,我们也由此聊了AI研究人员的生活与选择。最后,田渊洞也分享了2023年之后,他如何尝试在写作的工作流程里加入更多的AI。AI现在到底能帮他做什么,还不能做什么。

由于本期是远程录制,所以音质有一些瑕疵,请听有见谅。本期中提到的《破晓之中》的续作《优业新火》正在网上连载,连载地址我贴在了sholos里的相关链接部分,感兴趣的朋友们可以阅读。

下面我们就正式进入本期节目吧。今天很高兴邀请到Meta Gen AI的田渊洞做客《晚点聊》。他的主要研究方向包括决策、强化学习算法设计等,曾领导了OpenGo这个围棋项目。

不过这期的主题比较特别,我们不是聊具体的AI研究,而是关于田渊洞的一项业余活动——科幻小说创作。田老师去年也正式出版了2021年连载完的一本科幻小说《破晓之中》。这本书中包含了一个AI研究者对未来世界的推演。

所以今天我们是想以这本书为线索,来聊一聊未来的AI和我们的生活。田老师,你可以和我们的听友打一个招呼,简单的自我介绍一下。

大家好,我叫田渊洞。我是现在在Meta Gen AI做一个总监的这样的职位。然后我们这边有一些团队在做一些关于推理、还有大模型推理的一些工作。大概是这样子,我在Meta已经十年多了,一直是在做人工智能方向的工作。

然而业余的时间,我有一些比较特别的爱好,包括写科幻小说这样。那么我写小说已经很多年了,我可能是2005到2006年开始就是建设网络小说,并且想要把常常自己写。一开始写的不是特别好,后来慢慢有一些感悟。

其实在中间写了一些小说。这部《破晓之中》是在2020年开始连载,当然连载之前其实已经有大量的存稿。那么当时的情况是,这条故事一直是有构思的,有一些段落写完之后,会觉得如果没有一个连载的压力,可能这条故事永远不会完稿。

所以在2020年的某一天,疫情期间比较无聊,于是想跟大家说,我们现在要播小说。如此,就会有线上的压力,每一天都必须要写出去一章。通过这个方式,大概写了三到四个月左右,最终把《破晓之中》连载完了。在这个比较紧张的过程中,实际上也有很多感悟和学习到的一些知识和体验。

所以在《破晓之中》连载完之后,2023年的时候,电影公司出版社联系到我,他们对这部小说的出版社有兴趣。起初我也比较惊讶,因为我其实放在网上写也只是写着玩的嘛,但是放在职务上连载,也是有不少评论。

后来想了想,既然有出版社联系我,肯定是希望《破晓之中》有个圆满的结局,所以最后同意了。2024年,去年6月份,终于正式出版了。现在在多半上和在微信读上都有,评分还可以,多半屏风是7.9,微信读上是75%,都处于值得一读的范围。

作为我的一个业余爱好,这其实出乎我的意料,我觉得非常感谢广大读者对我的支持。你可以讲一讲《破晓之中》的大概故事情节吗?这样的话我觉得方便没有看过这本小说的听友能够更好地进入到我们后面的讨论。

这本小说其实想要做一些在人工智能时代的科学幻想。因为大家都知道,每一个时代都有自己的科学幻想。蒸汽时代大家幻想着开蒸汽机去很远的地方,电器时代或者机械时代的幻想,比如海底两万里中,我开着金属制的潜艇潜到横移深处,或者将一个金属的筒射到月球上,去探索。

这些其实都在反映那个科技生产力水平下对应的小说和科幻的思维和方式。即使在人工智能时代出现之前,大家其实也对人工智能有很大的幻想。比如计算机刚出来的时候,很多人就开始设想,如果以后有机器比人更厉害更聪明,那么这个社会是什么样子的。

这股幻想在50年代、60年代就已经出现。因为那时候曾经出现过第一次人工智能的浪潮,大家觉得用计算机的方式去模拟人类智能,能够达到人类相当的水平,甚至比人更聪明。这些设想往往比较刻板,比如说机器能够计算精确,但缺乏人类情感。这样的论调一直存在。

但真的到2020年、2021年、2022年,这一波人工智能的浪潮来临时,回过头去看之前的那些幻想,很多时候会觉得它偏颇。于是这部小说就是我写的时候,AI还没有真正发展到很高的水平,前一波的浪潮刚刚过去,大家可能在看到一个平台期。

当时我们就在想,如果AI真的发展到很厉害的时候,会有什么样的故事出现。这部小说同时也融合了我在博士阶段的一些感悟和心得。为了能够将这些素材填充到故事中,我希望总有机会把这些东西写出来。

这是一部相对来说比较杂柔风格的小说。它融合了少年时期的心态,我是一个弱者希望翻盘,同时又结合了中年大叔的思维。在这个阶段,我想,不如就躺平,过完自己的一生,还是要努力追求有趣的事情。各种滋味结合起来,就产生了这样一部小说。

总的故事情节其实是比较老套,外星人入侵地球,最后我们怎么样战胜外星人,或者至少能够跟他有来有回,获取应得的地位。这在AI时代的背景下,通过更现代的认知来演绎故事就是关键。

我可以补充一下情节,因为刚才田老师讲了比较多他想表达的内容。大的框架就是外星人要来入侵地球,这是银河联盟派来的前哨。入侵的方式也是很特别,跟以前的直来攻击不同,他们给地球人设置了一个诱惑,让很多人生活在虚拟世界中。

在这个虚拟世界里,大家衣食无忧,并且不会变老,可以一直生活下去。若在现实中是残疾或有缺陷的人,到这个虚拟世界也能获得一个更健康的身体。这样的选择使人类分成两派:去虚拟世界生活的人和只能在地下苟延残喘的人。

虽然他们没有直接攻击地球本体,但确实对太阳做了一些事情,导致地球的能源供应出现了一些问题。最后就是人类如何战斗,获得应有的地位。而战斗的方式也不再是以前那样简单直接的,比如开飞船去与外星人交战。

故事的主角是一群研究者和博士生,这样的设定也是来源于田老师在科研阶段积累的素材,使整个故事更加丰富,也反映了对未来AI的考虑。

因此,我想讨论的是,您在写这个小说时,如何将自己的AI技术思维运用到故事情节中。比如,强化学习、注意力机制等有趣的点子是否在小说中有所体现。 也许带宽就这么点,但是我可以通过某种方式把信息通过某种方式传过去,这样不用损失信息本身,但同时可以降低这个带宽的程度。

那么当时呢,就是小说里面有一些角色像苏彦把这个问题通过某种方式解决了。那么现实世界里面,你会发现其实大家广大研究者其实也用这种方式去绕过了这样的一些限制。

所以其实很多时候呢,研究的思路和科幻的思路很多时候是有一致性的,所以这个很有意思。

你当时2020年开始写这个小说吗?你当时设定临界立方,你心里想的就是英伟达的GPU是吗?这肯定是有关系的。

对,因为我觉得GPU是当年的。2022年的时候,是当然能看见对GPU需求是很大的,做深训学习肯定是要GPU,这个没有任何问题。那么GPU怎么把它连起来,然后变成一个巨大的物比的集群去训练。

那么这个当时也是有的,但是并没有想过就是通过这个训练我们可以得到像大元模型这样一些非常强的模型。那模型你可以做很多事情,当时其实并没有遇见到这样的训练能够那么快的时间达到那么好的效果。

这个我觉得我应该说明天到把它作为科幻点子来写的。对,两年之后科幻照进现实,所以这个是我也是挺非常敬严的事情。因为我觉得我把它写成科幻点子意味着这件事情可能要过十年或者十年才能发生,但其实没有。

所以这个有些时候会觉得科幻小说还是早点写,反正的话,可能点子就是过时了,因为别人实践了。我们现在这个进化已经到这样的速度。

对,你刚才讲到那个互联,确实最近有很多进展,因为24年在GDC上其实黄人薰也是,他当时不是讲了这个NVL72吗?就是我把那个72个单格的芯片连起来,一个更大的互联方式。最近华为也发了一个新的技术,他们叫超节点,他们那个更吓人,他们是380多个芯片,然后连起来。

一个是弥补它单格芯片的性能可能没有因为打好,另外可能就是他们也是应该是通过什么方式去把这个通信做得更好,然后让整个系统的性能可能达到一个差不多的状态。我觉得这些都还挺实际的,从情节里看还挺有前瞻性的,这个我觉得应该是很有趣的一个体验。

对,就是发现自己写的东西后来就真的成为了一个不一样的方法,在现实中呈现出来。所以你刚才也提到就是这本书是有一些是你的科幻的想法或者是对AI技术的想法,然后有一些是你多年来积累的在做研究,包括读研究生、读博士期间的一些心得。

这也是我看这个书的我自己的一个感受,就是它给你两种很反差的体验。一是基本上所有科幻小说都会包含的一些科幻概念,或者是你刚刚说的科幻点子,比如说这个里面的灵界,以及它的情节上确实也是比较经典典型的科幻,就有末日危机,然后人类面临生死存亡的抉择。

但是另一方面,它有非常日常的一面,就是你这里面写了很多科研工作者怎么开组会了,师兄怎么带师弟,导师是一个什么样的角色,怎么去争取资源,以及不同的学术思路,还有一些办公室政治之类的东西。

对吧,学术圈也有人情世故。所以我觉得接下来我们可以分这两个大的方面去展开聊一聊。

第一部分,我觉得可能更多是聊AI和未来;然后第二部分,我觉得是可能对挺多更年轻的研究者,我觉得也会有一些启发吧。就我可以讲一下,破晓之中你展现的这个未来世界,就我读到的一个大的部分就是我刚才说的,实际上是把人类置于一个两种选择。

人类变成了两派,一类是走向虚拟世界,可以安稳地生活,但是他们应该不可能再有更多的科学发现和进步了,因为其实你是生活在外星人给你设置的这个虚拟空间里面;然后还有一派就是我们要奋力一搏,我们要对抗银河联盟强加的这个安乐世界,去自主地寻找在宇宙中发展的空间。

然后就是你可以讲讲就是你当时设计的这个大的情节是怎么想的,这个算是本书的一个出发点之一吗?

对,就是当然了,这种小多数里面这种冲突肯定是必要的,不然的话就不好看了。所以你永远会存在这样的一个可能就是说你总是会想,AI对人类来说,我到底要想要一个欲取欲求的世界,然后就不用去探索了,还是说我希望真的去永远去找未知的世界。这个未知世界是你没有经历过的。

这个总是会出现的。我觉得不想说,在某些时候可能比较有意思的一个点就是,也许最终的结案答案是个两者的结合,啊,这样的一个答案。就是说我们一方面确实还是需要最后可能会走进虚拟世界,这是我觉得是有可能的,而且很大可能。

另外一方面呢,就是我们可以带着虚拟世界继续去星际里流浪。啊,我觉得就是说也许就是这两边都会有,因为毕竟人类的肉体还是太脆弱了。

所以你要把一个人买一个宇航员奉送向太空,所以需要很多需要很大的能量,爱家非要照顾他的各种饮食起居,啊,然后照顾他的各种身体上的需求。啊,但是这个其实就是对于星际航行来说呢,其实是很大的负担,啊,这是一个。

然后另外呢就是说人的肉体呢在100年之后呢,其实还是会腐朽的,所以肯定是需要有办法去让肉体能够有永生的能力。因此最终人进入虚拟世界,我觉得这个是不可避免的。

但是呢就是说在进入虚拟世界之后呢,人本身的求知的和欲望呢,或者说人本身对未来的探求呢,其实仍然是会存在在那里。所以最终我们还是会愿意去翱翔在星海之中。

所以这两个应该是合在一起的而不是对立的。所以这个其实我很早以前就想过这个问题,我觉得这可能是我们唯一的一个真的走出太阳系的方案吧。

这个选择就是你要看到,其实要看到这个小说很后面,你才会发现是你刚刚说的那个方案只是一方面大家又是在虚拟世界里。就所有人类其实最后都进入了虚拟世界,但是它其实还是有一个计算载体的。

这个计算载体是可以在宇宙中的不同的地方去探索的。就那个时候其实我们已经在你这个小说里是已经来到比铃星了,对吧,不在太阳系。

对,太阳系已经被大战毁灭了,比如说这样子的。所以最大概是这样的一个思路吧。当然这是最后的一部分。

对,所以这个还是一个比较有意思的方案吧,就是最后会这样。那么这里面会带来各种各样的问题,这个问题就是说,首要的问题就是说你可能会在一个虚拟世界里面突然之间你所有毕生所追求的所有东西马上突出可得了,对吧。

你要多少钱就有很多钱,你要海景房,马上脑袋一动就给海景房送给你。如果你要什么乡村美女,马上就有无数乡村美女送过来。对,所以对于就是在这虚拟世界中,日常的,或者说之前在现实社会、现实世界里面那些所有的欲望全部都变成了突出可得的东西的话,那么人本身的这个进步的能力,人的那个进取的动力到底在哪里,我觉得这个是一个很大的问题。

我觉得这个可能是就是之后,第二部会继续写的这样一个主题,这个可能就是未来世界怎么样能够让未来世界还有动力继续前进。所以这个是一个大的问题。

其实这个小说后面也写到了一些就是在这个虚拟世界里,它也是有经济系统的,甚至还有房价对吧?然后虚拟世界里的人到后面还在讨论说,这个房价在上涨什么的。

对,这个是因为是这样,就是比如说我们可以说,最开始造出来的这个虚拟世界是个第一版,有灵界1.0版。那么这个版本里面所有人的欲望都会被满足。

那么大家后来发现了这个版本的问题,因为里面的那些人其实已经不在乎地球安危了。就对他们来说地球其实是一个遥不可及的梦,他们在里面待了半年之后,他已经不记得这个地球这个东西了,因为生活太舒适了。

所以对于这个母星,或者说对于这个虚拟世界的物质基础,他没有很深的理解。因此这一版呢就会让就是因为我们在这个小说后期,其实会想写到一些这方面的工作。

就是说比如说我们让灵界的人和虚拟世界的人去投票,投票到底是愿不愿意加入银河联盟投降。如果你要投票的话,你觉得灵界的人会投给谁?

就是大家真正的去想想,你会觉得灵界的人其实会更愿意去直接加入银河联盟,并不是说去要维护母星本身的一个独立性。因此这个其实是对于这个可能对于灵界1.0版本,这个版本可能质量就会有一些人会觉得这个版本不是特别好。

所以在这故事的最后呢,其实倒退到了一个,比如说灵界的1.5版本。那个版本里面可能有个房子呢,或者说是物品呢并不是完全无价的赠送的,那可能是需要回到现实生活中的经济系统,让大家拥有这个动力去继续努力。

但这个版本应该说不是一个完美的版本,因为这个版本本身呢就不是很稳定的。所以在第二部里面呢应该会讲一下它的弱点,还讲一下有没有什么更好的方案。

所以这些东西其实是会有趣的,就是可以继续往下想。因为在这个新的系统中,什么样的经济系统是稳定的,然后最终大家会以什么样的方式和思路去在这个训练系统中生活,然后呢继续爆发出各自的重要的创造力,我觉得这个是很有意思的话题。

其实这个故事到最后还有一个悬念,苏彦就是其中一个角色,他算是带领人类成功反抗银河联盟的最大功臣之一,还有小和也是这个反抗者的其中之一,然后他们最后的一个对话,揭示出了就可能这个小说最后展示的结局也不是说人类真的逃离了银河联盟,而是银河联盟就像梦中梦一样。

就银河联盟让你以为你逃离了银河联盟,其实你还是在他所设置的这个虚拟空间里面。这个有点像黑镜最近一起就是讲的那个,比如说宇宙的Infinity的那种游戏的感觉,实际上你还是在这个虚拟世界里。

作者可以官方解答一下吗?就这个悬念他到底是更偏向我们真的跑出来了,还是我们实际上还是在银河联盟的控制之下?

应该说是这样,就是说这个是有解答的,因为这个其实是一个藏得很深的一个坑,这个坑会在第二步出现。对我觉得就是说其实还是会受到,比如说在银河联盟的控制之下,但是这个控制不是像虚拟世界那样进行的完全的控制。那么这一方面其实体现住了银河联盟本身的科技,坑级还是很高的,还有很多黑科技。

你想要不到黑科技能够知道还是能把你控制住。但是另外一方面其实也是说,也可以引出银河联盟本身的他的目的,就是说他对于偏远行星的一个文明来说,为什么他要千条条跑到你这来,对你做一些事情。

这个其实确实在的,就是这个事情如果没想清楚的话,其实很违背逻辑,因为就如果比如说我们把我们比作我们现在是在银河系的第三旋,某个角落里面,这个角落应该说是非常荒芜的,跟中心一点关系没有的一个小村庄。

为什么比如说一个银河系中央的大军要跑到我们上来,对跟特别对我们这些人有兴趣。所以这个其实那个背后其实是有银河联盟的一个目的的,一个深层次的一个解读。所以下两个其实是结合在一起的。

因为这样,所以他们才会过来,他们才会采取就是各种手段。就比如说如果这个银河文明是不是特别强的,那他们可以对它置之不理。如果这个文明比较强,那么我们可以希望银河联盟会说我希望你加入我们,就像那个小说里面讲的那样子,我们就搞个通告,说你们加入了,你们现在是A级文明,我们很荣幸的把你们拉进来。

但是如果当地的文明再强一点的话,这个时候银河联盟会感到威胁。那么这个威胁他们是怎么样去处理的,然后他们是怎么样对待当地的新的文明的?所以这个其实是不一样的。 但是他们有一种新的思路和新的见解。

那么这种新的思路和新的见解可以通过所思及所得能力瞬间具现化,然后变成了一个比银行业盟更加强大或更加有能力的这样的一个体系。这套体系就会代替目前的系统。

其实类比成什么呢?就是应该说一百多年前,比如说新政府跟八股联军或者跟那些市民政府去聊的时候,一开始他们会觉得,我们要把那些路都修好。那些路修好之后,那些偏远的村庄就可以把物资运出来,然后卖给别人。这个是一个很好的想法。

但是过一阵子,他们会觉得我不应该修这条路,因为修了这条路之后,虽然说那些偏远村庄的物资很快运出来,但是别人也会很快打进去。所以为了让自己不那么容易被征服,宁愿把那条路修得差一点。

这个其实和银行联盟的设计是一样的。银行联盟已经到了,比如说已经想到什么就一定会发生的这样一个境界之后,任何一个外来的思路都会马上变成现实。这个现实可能会威胁到联盟短生的架构。

在这种情况下,实际上他们非常希望找到银河系每个角落的一个新的新生文明,看看这个文明有什么新的思路和新的想法能够被银河联盟所吸纳,但又不至于在银河联盟的控制之下,不会产生和银河联盟不一样的一个共同的力量。我觉得这个可能是银河联盟在这种情况下它的一个最大的目的。

如果地球成为这样的一个地位的时候,那么他们就要小心对待了。因为对于银河联盟来说,首先希望把这块东西保留起来,因为他们里面有一些非常限定的思路,这些思路可能银河联盟自己是没有的,所以希望它保留起来,像把它变成一个野外保护地一样的地方。不希望自己的想法去污染它。如果污染它了之后,那么这块地就没有用了,因为这块地的思维就被同化了,那么它的一些新的想法和新的思维就没有办法再展现出来。

但另外一方面,我又不希望这块地发展得太过厉害,反过来通过银河联盟的科技把它的思路展现出来。所以其实应该是一个非常矛盾的中间状态。这就是为什么最终在第一步的结局的时候,会有这样的一个结构出现,这个实施的原因就在这里。其实是因为他们得让你以为自己是独立的,还在探索未知,才能真的产生不同的想法。但又要把这种探索置于他们的控制之下。

这个是为什么会有这样的措施的原因。你刚才讲的这个,我觉得也特别反映了从之前的工业革命时代到现在AI的不同的科学幻想。因为你看这本小说,可能你最开始看到这个外星人的表层目的,它是比较像以前的那种目的的,就是它是为了争夺能源,这是最开始的表层目的,但实际上它想要的是智能,或者叫智慧,或想法,散落在宇宙各处的,可能性的不同的智慧,它想要的是这个。

是的,确实是这样。这应该说是第二部的一个动机吧。就是说这下要怎么写,应该是这样上去写。但是具体来讲,联合联盟的社会形态是什么样子,会产生什么样的故事,我觉得应该会挺有趣的。

你觉得如果真的到了所思及所得的这个状态,首先是你觉得科技有可能到这个状态吗?其次如果到了这个状态之后,可能会面临的大危机是什么样,可能会面临的非常高级的文明也会遇到的大危险可能是什么?

我觉得是这样,首先第一个在科技上来说,这个应该是迟早会发生的。因为过去400年的科技史,其实很多时候是把一个很难的问题转化成一个很简单的问题,最后变成了水和空气那样子,突如其来的东西,这个过程一直在发生。

比如说我们的手机,当年EMIC计算机做出来算弹道,像高大上的一些科学计算,现在我们这些手机里面的芯片速度比原来的晶体管快几百万倍,但是拿来给我们玩游戏、玩网页。所以这个是通过这个方式把高大上的东西平民化,最终变成一个水和空气一样的东西。

中间的很多链条、很多科技上的具体技术上的困难,都被绕过去了。然后变成了让这个思路可以直接和最后的结果结合起来。这个过程一直在迭代,所以下一步如果中间有任何科技上的困难,那么这些困难也会被克服,然后被压缩到一个你看不见的地方,你的思路和你的想法会直接作用于现实世界,现实世界可以得到你想要的东西。

这个过程一直在出现,而且是一直存在的,因此我觉得这个事情一定会发生。虽然我不知道是什么时候会发生,因为有很多的技术上的限制或技术上的局限性需要大家去克服,但总的来说,我觉得以后一定会出现。

比如说,现在我把水龙头一打开,就有水滑滑滑流下来。但是古代人去拿水是很困难的事情。我们要去河边打水,打完水之后在家里面放明,让这个里面的脏东西沉淀下来,还有杀菌,最后可以喝,煮水才能喝。但是现在就是我们都省略掉了这些步骤,比如说抽身滑损的方明,让人家环境变得非常好。

这些都是很重要的一个过程,我相信以后你想要制造这种东西,或者说想要制造任何的部件,都可以通过这个方式产生出来。我觉得这是很重要的。比如说我们现在翻译模型可以用它来写代码,写完代码之后可以直接运行,直接实现你想要的事情。这个以前也是不想象的。

以前我说我要做一个网页,或者说我要做一个商务逻辑,跟别人对接,我需要招一个团队。比如说招一个团队,我是老板,跟大家说我们要做什么东西,大家把计划书写下来,把它分解成子任务,然后一个个人去把代码写完了之后测试,最后上线,终于可以服务于其他人。

但是现在整个过程就被压缩了,被大原模型压缩了,变成一个自动化的过程。你可以让AI代理去做很多这样的细活,最后他会直接把代码写完,最后还能够上线,还能够直接用。所以整个过程其实也是很相似的,把一个非常繁杂的一个很大的一个任务,越来越缩短,越来越自动化,最终让普通人都能完成这个过程。

这个过程一直是有的,我相信以后只会更加厉害,最终会达到索思及所得的境界。这样已经开始有一些迹象,确实是。

刚才第二个问题就是说,如果你已经到索思及所得这么高级的科技和能力之后,可能会面临的大危机是什么?其实我自己有想到一个,就是我前段时间跟马亦老师,港大的马亦老师,录了一期播客,我们聊到,他认为生命是智能的载体,因为智能是一个学习的过程,你可以去学习外部的规律。但如果按照我们现在对宇宙的观测,有可能它是一个伤增的系统,那有一天这个宇宙岂不是就非常混乱,你就没有规律可以学,智能怎么继续存在?这个问题能解决吗?

我觉得这个可能是另外一个更大的问题,因为这是跟物理学相关的问题。总的来说宇宙当然是双真的,但是只要有局部的负伤流进来,那么这部分的生命和这部分复杂系统就可以发展发展。例如地球和太阳就是一个典型的系统,太阳把能量给地球,地球最后把能量散播出去。在这个过程中会造成一些负伤流,因为太阳过来的能量是高度有序的,这个能量可以转化成很多其他的能量,比如说通过光合作用变成葡萄糖。

我觉得局部上来说这点是对的。马亦老师说的可能比较大,那就是在整个宇宙的命运,最终智能会怎么样。但是这很远,可能是几十亿年后的事,甚至不止千亿年后的事。我看过一些讨论,最终还是可以找到一些小区域,生命还可以继续活下来。比如说你在黑洞附近,找到一个地方,通过把东西扔进黑洞,那么它给你会有黑洞的能量,这个过程可以重复很多年。所以在这附近你会有很多时间。

另外还有方面,就是也许整个物理规律或者说物理世界其实应该说它里面有很多未知的规律,可能还不知道。也许我们探索宇宙,可能会发现物理不需要修改的。那么在这里面可能会发现新的有意思的事情,这可能会让大家认为是正确的趋势发生逆转。

你刚才说的关于人类未来是进入虚拟世界还是变成星际文明的问题。从我们过去的历史来看,这个问题有两个层次。一个层次是说,为什么我会想这个问题,另一个层次是人类会怎么选择。

首先,我本人也是一个特别喜欢想东西的人,脑海中总会冒出一些有意思的奇怪思路。因此我当时选择计算机,特别是对人工智能的方向,也是基于这样的想法,考虑以后AI是否可以代替人类,或者人是否真的有一种天生的先进性,而这种先进性并没有被正式的定义所确认。

通过这样的思维,我思考我们这个世界,或者说这个AI会怎么发展。这个思路从08年左右开始,因为我在08年开始研究生阶段,后面读博士,那时候开始正式做人工智能的方向。实际上,在05年到08年这段时间,我在交流大学做硕士,那个时候是在张立青老师的实验室,做脑机接口的研究。

那个实验室的研究主要是关于大脑在各种刺激下,或者不同任务下是如何运作的。比如说你可以戴一个帽子,上面有各种胶插,然后可以检测脑电图。如果让这个人做什么事情,我其实也曾经是受试者之一。所有的那些实验室里的人都可以被自动认为是受试者。

这是一个很有意思的事情,我也会去想这些问题。为什么人大脑那么神奇,这是一个很大的出发点。我一直觉得目前的人脑功率低,比如说只有30瓦,获取知识的效率也低,与AI相比,交流的效率很低。我跟你说话,可能每秒只能传达10个比特的信息,而这样的数据对现在的机器学习来说,真的是毛毛雨,什么都不是。

但就是这样数据的输入和交流能产生那么聪明的东西。因此,我一直觉得现在的AI能力还远远不够,我们所用的效率仍然是相当笨重的,而这些都是推动我去思考这个问题的动力。

另一个问题是,全球人类是否会进入虚拟世界,是否会与AI结合。我觉得这肯定是可能的。事实上,现在这种情况已经开始出现,比如说手机的普及,大家基本上是没法离开的,有各种信息会传进来,因此我们可以说已经迈进了虚拟世界。在这个虚拟世界里,有很多的信息,很多的讨论和情绪。

所以,其实人与机器之间的界限已经不再那么清楚。我觉得这个事情会逐渐发生。未来,我们或许会看到更进一步的发展,如果再使用某个特定的电子元件,或者某个特定的APP,或者芯片会如何。 然后你的成绩提高20%。那这个产生一个效应,就是你说如果不用,你会落后于别人。所以一定大家会拼命地去使用这些东西。最后慢慢会有一个融合的过程,这个过程会自然地发生。

但不会像小树中那样,小树中那个时候是因为有外星人的外界压力,让你不得不进入虚拟世界。不然的话你可能就在地表会冻死,比如地表现在变成零下50度了,你如果不进入虚拟世界,就会死掉。所以你就必须在很短时间内全部都进来,这个是一个外界的压力。

但是如果没有这个外界压力的话,我觉得人类也会慢慢地进入这个状态。就是一个慢慢融合的过程。就有了这个融合过程之后,一方面可能就像你说的,你认为它是不可避免的,但另一方面肯定也会带来一些新的问题。其实这个我在小说里也看到了你的讨论。

就是这个小说,我可以再讲点情节,就到了比较后面的一招,讲了一个新人物在虚拟世界的故事。他是一个三流画家,一直自怨自艾,觉得怎么都比不上一个他的一流画家的朋友。我当时看到这一节开始的时候,觉得非常莫名其妙,因为前面都已经讲了那么多事情,后面突然出现一个新的人。后来我看到更后面,才知道你为什么在这里写了这个。

是因为苏燕,就是那个人类的大工程,他其实是故意把整个灵界的时间节奏调得非常快,相比于真实的物理世界的节奏。所以在一个比较短的时间里面,这些灵界里的人,就类似于这个三流画家这样的人,他们就经历了很漫长的一段时间,慢慢觉得在这个灵界里待着其实是很空虚,甚至很残酷的。

这样人类就是两派不同的人,虚拟的人和真实的人才能达成共识,一同反抗银河联盟。你可以讲讲你想设想到的这些问题吧,就是当那个人和虚拟融合,然后界线变得更模糊之后。

这部分其实是特意作为一张写在里面的,通过这个方式让大家知道我们是怎么翻盘的。就是说人类是怎么翻盘的,这是第一个。对吧?然后第二个,其实也是设想了虚拟世界真的铺开之后大家会有什么样的想法和思路。

这个是一个非常明显的情况。我觉得就是这样,短期一定会产生很多问题。这个问题是,比如说对现实生活来说,AI来了之后,其实大家接下来几年可能会对世界产生很大的变化。很多人会发现自己赖以生存的工作可能会被AI取代,或者被AI给代替。

然后就是这个其实是有很大的空虚感。很多人会觉得突然之间获得了很多东西,这些东西可能是以前我一辈子都拿不到的,然后我就不想更活了。或者说是我发现我做的事情做得再好都没有AI做得好,那基本上就不会再去想着要把这个事情做好。

我觉得这短期的一个很大的问题。我不知道大家会从什么方式来克服,这是第一个。然后中期呢,就是你刚才说的那个情况,我觉得大家开始卷了,就开始卷了一些已有的赛道。大家都知道,我们以前的事情就做不了了,我得去想办法去求新搞怪,吸引别人的眼球,通过制造一些独一无二的这种感觉,让大家觉得自己是有价值的。

那么这个过程其实是应该说是比较痛苦的过程。因为会很多人会觉得自己并没有这个天赋,但是一定要被迫去卷这些赛道。但是呢,再往前,我觉得长远来说,应该说是乐观的。因为大家可能会意识到,就是我们以前的工作,有时候我们以前有这个T4个惯事嘛。

就是我们现在上学受到教育,受到教育之后,目的获得一些有用的技能,然后用这个技能去工作。工作了之后拿到薪水,养家户口,养育下一代,继续这样的循环。但是这样子这个方式来赚起来的。但是以后如果你发现大部分人受到教育之后做的工作,这个工作本身和AI有没有竞争力的话,大家可能会放弃这个想法。

因为常常来说,每个人最好还是想做自己想要的,想喜欢的。像我看到我很多朋友,业余可能是个画家,或者说业余是个小说家,或者说业余是歌唱家。但是对他们来说这也只是业余活动,因为他们还是要做携带码,然后通过这种方式来获取工资,对吧?然后可以买房、可以买车、然后可以养孩子。

所以这个过程其实是限制了大家真正天性的发挥。如果大家真的去做自己想要的,或者说完全出于内心特别热爱的工作,而不需要担心收入是多少,或者说有什么样的地位的话,我觉得这可能会是一个更有意思的事情。

那么这样的话,会出现职业的多样化的爆发期。大家会发现其实有那么多事情,之前没有想过的,但是可以去做。这个爆发期之后,大家可能会发现其实最后还是比原来更开心了一点。我感觉上是会有这几个阶段吧。对于常文上来说我还是比较乐观,但中间有什么波折就很难讲。

你现在有观察到你说的第一个阶段或者第二个阶段的一些情况吗?因为从23年24年到现在,AI确实发展的很快,包括coding和写作,它都是有很多的进展的。那么可能对程序员、对一些文案从事者,都会有些影响。

我觉得现在已经开始出现了,但可能没有什么机会去统计这个,或者说已经开始统计了,只是我还不知道这个事情。应该说冲击是很大的。比如说写文案的朋友们,他们可能会觉得用XGB写出来的东西,其实比自己写的好,或者说跟XGB先写,然后自己去认色,这个都可以,跟以前的流程有很大的不同。

所以这个一定会发生,AI越来越强,用得起来越来越便利,更多的人会波及到。这个应该是个很大的过程。可能再问一下,比如两到三年的时间内,可能会有很多比较大的变化。这些变化可能对于AI研究院来说没有那么看得见,因为我们比如说天天看文章,或者感觉有什么最新的进展,但是这些AI本身会下沉到哪个领域的各个细分方向上,会改变很多人的具体工作流程。

这个过程应该说是滞后的,但是应该会慢慢也发生。发生的过程会改变这个世界的或者整个社会的运作的方式,我觉得这个是个很大的变化。你觉得你自己的这类工作什么时候可能会被AI很大程度地取代?就是我只做研究的这类工作。

因为现在其实很多人,他们的想法,包括很多AI研究员自己的想法,就是希望AI能做科研。我觉得是,现在看起来,有些比较简单的科研操作其实都是可以的。就是说,比如说让他查文献,让他去收集一些资料,这个叫deep search,其实都已经还不错了。

当然,能不能提出有深度的观点,能不能找到一些深层次的联系和想法和思路,这个现在的AI还做不到。就是它现在处于这种状态,外行看起来这个东西很内行,内行看起来就是外行状态。如果我查一些我不知道的东西,这个对现在的大原格性非常低。

对,但如果真的碰到了我喜欢的,或者说我热衷的,特别精深的东西,我能看见很多的漏洞。所以这样的话,其实意味着研究员还是有事情可以做的,因为他对这个世界有很深的理解。而且这个理解是随着经验的增多、研究的深入会越来越深。

这个理解的速度其实是超过大原模型的学习速度的。所以这一块,AI研究员还是有自己的优势。大原模型现在还是有一个问题,就是它的数据的复杂度还是太高。比如说你学一些事情,你肯定要很多很多样本,不是学一个事情,肯定要需要1000个一万个样本才能学会。但是对于顶级的那些研究员来说,他们可能一两个样本看一下,然后知道这里有问题、那里有问题,他们会联想到一个正确的但非常细小的一个因素上面去,并且这个因素确实是正确的。

影响它的因素,因为有这个能力,所以人类的研究员还是能够站在大模型的前面,大概是这样的一个感觉。所以这个问题可能在现在的大元模型的训练的算法没有改进之前,可能还是很难解决的。因为现在还是对数据的方法训练,就现在这种预训练的这种方法,或者说这个机制没有变化的话,实际上和人的真正去思考理解,或者发现一些东西的那个状态是不一样的。

我觉得是不一样的。当然可能每个人想法不一样,有些人可能会觉得就是一样的,但在我而言,从方法论上说,我觉得还是有很大的区别。那么这个区别肯定是本质上的一个区别,这个是有不一样的地方。

但是如果以后真的是AI进化了之后,比人的学习速度更快,那可能研究员的工作就会干掉了。所以这个时候呢,你可以考虑,比如说我可以去写小说,会不会做一些就是跟现在不一样的事情。你觉得这件事情很快会发生吗?我指的是,比如说数年内有可能会发生吗?5到10年内。

我没有那么乐观,我倒没有那么乐观。我觉得这种是涉及到怎么样去训练模型本身的一个改变,这没办法通过对数据来完成的。所以这个可能会那么容易,也许还需要10年的时间、20年的时间。

我觉得是这样,因为比如说你要去问一个下围棋的围棋国手,他一定会说AI不行。但过一段时间之内,你会发现AI的水平超过围棋最强的那些人。所以对于每个人来说,他也没有自己的自尊,或者说是人应有傲的这个部分。但是不一定,这都是有可能的。

那么接下来正好可以聊一下研究生的生活的这一部分,因为这个也是书里的一个主线。我觉得对很多其他的类似的人是会有启发的。我看这本书的时候,感觉这里面的博士生非常艰苦,尤其是最开始出现的那个角色,就是他们的大师兄风西云,他是要在赚钱养家和继续做科研中做一个非常难的选择。

但这个好像跟我理解的最近这几年的AI领域的现实是不太相符的。我想问问你这个博士生的生活是来自于什么?是来自于因为你可能是更早进入这个领域,就当时那还是在2012年之前的好几年。是因为那个时候这个领域比较冷吗?所以你们当时确实挺艰苦的,还是故事性的原因? 就是你当时的一些学术选择和你怎么度过这个领域,那会儿看起来还有点前途未卜的这个阶段。我觉得这个对现在更年轻的研究者也有启发。因为还是说比较喜欢,我特别喜欢做一些自己想做的事情。所以比较,我可能是一个比较内心驱动的人,不是很在乎外面怎么说、怎么想。

所以我觉得这个东西我搞出来了,或者说这个东西我想通了,我特别开心。那我其实并不想要外面有什么样的奖励,或者说有什么样的政客。所以这样的话,一般来说,如果对自己的东西特别有兴趣,或者特别喜欢的话,就会有一个自信和坦诚的这样的态度。

通过这方式,就可以把博士阶段这个比较艰苦的日子给度过去,大概是这样的一个过程。其实我以前也是一个非常内向的人,然后也不太说话,所以我在上台说话的时候就被卡住。我之前有口吃的毛病,但是在通过这个学习过程中,我会慢慢发现自己特别喜欢的东西会把自信给发挥出来。所以你现在看到我现在这个样子,其实也是因为博士阶段有这样的一个锻炼。

在博士阶段,包括后面早期开始工作的时候,你觉得中间做到哪些事情,或者说做的哪些成果让你慢慢对机器学习这个方向的信心变得越来越强了?一个当然是我觉得自己对有些问题的理解变得更深入了,这个对我自信是很大的增强。然后另外就是说,确实能看见机器学习在整个过程中能够做一些比较重要的效果,比如说我们频道里围棋的项目,这个项目能够真正做出一个模型来,这个模型下期的水平非常高。

那么这个时候,你其实对机器学习的,或者说对深度学习的能力有更深的理解。我觉得这个是很重要的,真的自己做出东西来了,而且不仅是理解方向的,而且还是实践方向的。那么这两个东西都能够给自己一个强化的动力,让我觉得这个东西真的是有效果的,而且这个效果在一定程度上来说我自己也是可以预测的。那我对这个问题,或者对这个东西现在理解就变得非常深入,我也会对它更有自信。

在这个过程中,外部反馈重要吗?比如说你们投会, 然后有些中一些顶会的奖什么的,因为还是希望有一个自我的内心驱动力去做这个事情。我觉得这个事情是对的,我觉得应该做下去,这个跟外面有关系。在外面如果承认了,我会更开心,因为会觉得我说的话至少别人还认同,或者别人会觉得这个东西是有道理的。所以这是两个想要加强的过程,但我觉得博士生可能先要有内心的驱动, 然后我才有外界的反馈。

当然有些人可能想反的,但是最终这个反馈能够转起来,产生一个非轮效应之后,那么这个博士生就慢慢慢慢做得比较好。你刚才也讲到你当时读博的时候有师兄劝你要接地气一点,然后你这个书里面也是写了两类研究者。我觉得它确实代表了两种做学术的思路,一个就是风希云,还有林浮宇。他们是很执着于做一些颠覆性的,但比较冒险而未知的研究,而且它是有可能做不出来的。

如果是对一个普通的博士生来说,这个可能就是搭上了自己的青春,但是后来因为人类面临危机,所以他们去赌这个方向,其实也有可能会搭上人类的命运。然后另一种就是他们都是罗老板下面的,另一个老师就是孟天峰,他就是想用有限的资源去做一些小的改进,一些实用性的技术,可以比较快能用起来的。我觉得这两类角色就是在这个小说里,他们都是很有魅力的。

我觉得并没有特别明显说谁好谁不好。就是你可以讲讲你当时为什么设置了这两类角色,包括你觉得如果在一个非常极端的情况下,实际上可能应该把资源放在做什么样的研究是你比较认同的。我觉得这两类的人都是应该有的,都是非常重要的,应该不能说是谁好谁坏。

因为就算是非常接地气的,或者说非常拼应用的研究员,他的贡献也是很大的。他可能会把比如说把整个地下城的通过系统做得很好,然后大家都过得很开心,这对他来说其实是很大的一个动力。特别就是我小说里面可能我有些写的比较多了,有些东西可能写的太散,但是像天峰这样的一个人,他其实应该说更加注重别人对他的看法,所以他会特别想要让别人开心。

我觉得就是他肯定是这样的一个角色,他最终在最后那一章他在牺牲的时候,他其实也是为了想要让别人开心,想要让弥合不同的见解之间的人的一些裂缝。他愿意坐下来跟他谈判,但是这个本身就是因为他有这样的一个内心的动力在那里。所以他其实肯定愿意去做一些更加偏应用的研究。

另外一波人就比如说像林富宇和朱祁海这样的人,或者包括风希腊这样的人,他们可能总的来说,他们可能更偏向于内心深处的一个动力。那么他们希望这件事情一定要在他的手里面做得更好。他们没有那么想太多,就是别人对他的评价,所以对他们来说可能会更加想要去做一个别人做不出来的事情。那么他们就会去冒险去赌博。

所以这两类人他们的驱动力是不一样的。驱动力不一样的话,导致他们不同的结果。 当然驱动力还要加上能力,能力如果不够强但是驱动力很强的话,那可能会造成比较悲剧性的结果。 温西明其实是这样的一个角色,他的驱动力非常强,但能力没有那么强。 那么这样的话就会产生一个问题,可能会有很长的时间之间他得不到很好的反馈。

比如说我作为一个博士生,我资质是很拼拼的,但我非常想要发顶会。我非常想要发全世界震动的结果。那么这种情况下就会有很多很多年他没有办法达成他想要的东西,那么他就会非常郁闷,他会非常伤心。 那么他有可能会做出一些比较极端的,或者说比较冒险的举动。这就是为什么整个书中会有这样的一些剧情的影响原因。

所以其实这两类人其实我是当时在写的时候做了一些比较深入的思考和写的。 当然就是可能写完之后,因为这里面的东西太多了,所以我觉得很多读者也没有完全看得很细,所以很多时候会有些反馈说这个人物比较扁平,不是特别不一样。 但是其实是有一些不一样的动机在里面的。

所以我觉得从社会角度上来说,这两人都是需要的。因为就算像OpenAI这样很伟大的一个公司,他们做了一个InterGPT,引起整个世界,那么它需要伊利亚这样的一个能制造方向的人,但是也需要很多的研究员,他们能够把具体的数据,然后把具体的基础设施搭好,这样的话整个系统才能真的跑起来。

所以这两人都是需要的。至于最后的问题,就是如果真的地球出于小树中的危机,那么什么样的研究员是比较重要的,这个很难讲。因为在这种情况下,任何一个小小的信号,或者说小小的发现都可能会改变整个人类的一个研究的思路。其实是很难的,应该说这两种人可能最终会统一到一个方向上,就是我不管怎么样我要拯救地球,然后怎么拯救地球,我也可以用任何手段去做这个事情,可能变成这样。我也许可以赌博或者冒险,或者说我可以当然甚至做那些非常简单的,但非常重要的具体的事情。这两件事情都可以切换,但这玩弯非常取决于每个人看到什么样的迹象和踪迹,然后每个人有什么样的道路,然后自己走过去。

大概是这样子,所以这两类人可能会合并。在真正地球出现这样的危机的时候,可能会出现这样的情况。然后这也涉及到我想问的下一个问题,你刚刚说的这个情况,他要合并,或者说这两类人要更好的协作,大家来一起使用比较有限的资源,那就需要一个统筹的角色。其实你书也有这样的角色,就是他们共同的老板,罗教授。罗教授就是一个开始看,觉得他好像有点那种官样,或者说甚至有点学乏。

但是你会不会觉得这个人还是挺有魅力的?他有一些他的考虑,就像你说的,他可能是有一个大的目标,然后他要用很多手段去达成他。他也要用不同的人、不同的团队去达成他。然后你自己其实也带团队。你这个书特别好玩的地方就是这一部分真的特别日常,就写了这些,包括罗老板是怎么管团队的,然后他下面那几个老师,你刚刚说天风对吧,然后林浮宇,他们是怎么带团队的。

他们每个人都有不同的风格。然后你自己也做技术leader,其实很多年了。你每年的这个年终总结里面,你会发在知乎上,你会分享一些带团队的思考。就你现在会觉得一个技术团队里面好的leader他应该做什么,不做什么?我觉得是这样的,我现在的想法是这样,一个技术leader最重要的是能不能把握好方向。就是这个团队整体来说我要做什么,这个做的东西应该通过什么方式来完成。

然后团队里面每个人他想要做,他应该做什么样的事情,然后哪个人有什么样的长处,能不能无为而治。就是大家其实我就比如说,如果表现来说,我其实没有那么过多关注大家,但最终大家和大家一起把事情做成了,我觉得这可能是一个比较好的状态。因为你现在在meta这个大的体系里面,就是你们组做什么,你是自己比较自由的什么,还是说也会整个组织会有一些压力给到不同的团队?

这个完全看具体在哪个大的环境下。就之前我们在fair这个环境下的时候,其实还是比较自由的,应该说在这个组下面的具体方向其实我这边有一些话语权。其实可以定下来的。所以这个是一个比较好的情况。这种情况下,因为大家都在做研究,研究的前沿是无限的,所以其实这个空间是比较大的。关键是作为一个团队的那个方向上,这个人,比如说像Lider,如何把这个方向定下来,然后让大家觉得这个方向是有前途,有希望的,并且大家愿意花时间,花力去把它做完,我觉得这个是一个比较重要的。

当然我们最近是从Fair转到了JNI,那么整个大环境其实是不一样的。对于Lider来说,其实能不能找到一个好的方向,一个是让大家有活可以干,另外就是而且人指出来,大家是看不见的方向,让大家觉得跟着我,跟着这个Lider往前走是有前途的,这其实是一个很重要的。因为其实我觉得在现在各个公司或多组织之间技术竞争非常激烈的情况下,其实最核心的,最中间的力量就是每个组织的Lider,技术的Lider。

因为Lider也会吸引到更多好的人,而且他其实也是关于就是说实际上一个成果怎么做出来的一个最关键的角色,这个是很难当。因为他其实要在两方面要做平衡,一个是技术上来说,这个Lider还是需要有一定技术高度的,大家愿意跟你一起做,有这个吸引力让大家愿意过来加入。然后另外,Lider也要有个人事上的一些能力和敏锐的洞察力。如果人和人之间出现关系裂痕,或者说人和人之间有一些不同的问题,那么怎么样去解决他其实需要有管理的一些能力。

所以这个都是比较难的一个组合。对,我觉得是这样的。我现在的想法是这样,就是一个技术leader最重要的是,能不能把握好方向。 就是你可能要站更高的楼去看,往下看。这是第一个飞跃。因为这个飞跃其实是一个比较难的飞跃。有很多人可能就是我希望把手上的事情做好。我也不想去管太多的。

那么如果很难去达成这第一个飞跃,飞了之后,那我对这个团队的整个故事有了解了。然后我对这个战略的思考也会有比较明确的方向。这样的话呢,一般会成为一个,比如大厂里面的一个标准leader,比如说一个manager,一个经理,然后管理一些人,做一些事情。

那么这个状态这个时候,就是我会在这个时段时间会写一些博客,说我不应该去,首要任务是不能埋头工作。我得去看看,总结一下过去的弯路,对吧?然后看看有没有什么大的方向去想,然后大的格局上是怎么样子的。这个是我会想的。

那么这是从一到二转变,然后从二到三的转变,就是一旦变成了一个,比如说更加偏管理者的角色,变成偏大方向控制的人角色。有些时候,你会慢慢地失去自己对技术上的一个细节上的把握。这个实际上是很难的平衡。

因为很多人在大厂上,比如说成为经理之后,然后慢慢就不管下面的人都干什么,你们千万随便做。然后对我来说,我只要保证每天报告写得很好,对吧?然后项目文档做得很好,上面有交代就行了。

但是其实你会慢慢发现,这样的模式在新一代AI出现之后,慢慢的会受到一个挑战。因为你会发现那些做得最好的lab,像OpenAI、Anthropic,他们很多时候是这样,他们里面的所有的leader,所有的那些人,都是会写代码的,都是懂技术的,然后对于技术有很高的敏感性。

有这样的团队,如果工作的好的话,它的产出和速率是非常高的,而且同时交流起来的速率也是非常快的。在这边传统的大厂这种,上面有一层经理,下面做事的人拼在一起,这样的一个模式上来说,他们其实有更强的战斗力。

那么现在整个,甚至AI出来之后,我觉得大家都在往这方向去走,就是希望上面那些经理,甚至是总监,都是有些基础的能力。这样一种能力就可以让整个团队的速度变得很快,然后交流变得非常通畅,也不会出现就是一核在干活,八核为官的这种情况。

所以,这个是一个很大的一个转变。另外一方面,就是待会你会发现,之后一个人战斗力会变得很强。一个人加上很多AI,他的战斗力可能会强于一个小的团队。那么这种情况下,核心的人他对于技术上的敏感性是远远重要的,就是比那是大厂那些大的偏人事管理的经理,他的技术上的深度是永远要高于那边的经理。

所以,这个其实也是一个很大的转变。我会看到这样一个趋势。这个趋势是说,团队越来越变得少而精,然后团队的每个人,特别是核心人员的技术能力要求越来越高。通过这个方式,才能很快抓到问题关键,并且很快执行下去,而不是在不停的交流和扯皮中消磨时间。

这个转变其实应该说是在最近的两年里面变得非常明显。对,为什么很多小公司他的执行速度会比大公司要快,很多都是因为这个原因。所以我们也可能也是往这方向去转。

对,包括外界去分析DeepSeek,说他们也是有这样一个特点,梁文峰他作为创始人,他也会参与到比较一线的工作。我是听说是这样子。

对,听说如果下面的人没有来,他写代码,他就会写代码。比如说OpenAI的O1 Preview出来之后,他对这个方向是非常敏感的。我觉得这个是一个非常好的,因为技术的一个leader他对于最新前沿技术非常敏感的话,整个团队的转向和集中力会非常非常强大。

这个原味强于一个对技术已经太敏感的这样的人。那么这样的话,对于公司或者整个团队来说,他的转向速度和敏感性表现在什么地方,就是比较细的认知,比如说对推理模型他能做到什么程度,对吧?然后有什么样的局限性,对吧?有什么样的能够做的事情,什么样的问题能够在这上面做得更好,这些都是会有比较深的想法。

现在的这种办事或者说方法之下,能不能达到更高的智能,就类似于可以发现规律的这种智能。因为你刚才有说到,其实你是站在不太能做到的那一派的。我觉得主要还是看就是在目前的范式下,是什么样的改变能够更大程度上去榨取这个模型的能力。

应该这么说,这可能是更加切合现实的东西。比如说我们要改变整个训练的思维方式,思维人的模式,对吧?然后能不能把整个问题给重新formulate一遍。对吧,现在当过一些什么问题,这都可以讲,但因为这些东西相对来说更加难执行,它可能是一个更加难的研究问题。

所以更加深刻的或者说更加深入的,或者说更加能够做的事情,那可能就是看现有的模型,还有什么样的能力能够被激发出来。他们确实是在现有这个机制之下,我觉得是做了很多改进的,包括我们最开始聊到的,他用这个FP8,就是一种更低精度的方式,我怎么去弥补这个带宽的问题。

因为他们用的是H1800,他们没有用H1800。这个其实在他的报告里是有写的,而且很细。他们把一些GPU上本来计算的那些Stream Processor拿出来,让这些Stream Processor专门去做通信的工作,应该说是一个打破封锁的一个方案吧。

你自己现在就是保持这种技术敏感性,包括去学习这种新的AI的变化的方法是什么?这应该说是这样吧,一个,你经常会读文章,这是一个。对吧?然后叫我去整理案之后,其实应该说,看代码的时间会更多。因为有很多的重要的东西要看一下。

对,甚至有些时候会自己写,这个都是需要去做的。文章还是要看,这个都是比较重要的一些工作。

在你之前自己合作过的其他的技术力量里面,你觉得哪些人的风格或者方法是你觉得很好的,是值得学习?应该说是这样,就是我其实之前也合作过一些人,然后他们有些相比,有些人非常聪明,然后反应非常快,他们对问题有很深的理解。

然后听了这问题之后,肯定很快速度反映出来最大,最难的问题在哪里,或者最本质上的一个思维和根在哪里。这是很重要的,就是这种critical thinking的能力。看到有些人非常强,他们能够在几分钟的讨论中马上找到最大的问题,然后想要突然去改进,这个是很重要的一个能力。

还有一类人就是他们看过很多文章,思维非常广,那个想法非常多。那么他们可能会发现,比如说这个和那个不一样的研究方向之间其实有相似的地方,或者说非常接近的一些部分。通过这把这两个方法连起来,我们也可以得到一些更深的结论,这也是这样的人。

对,还有一些人呢,就是他们可能对具体的应用的这个方案或者说是现在这个细节非常了解。就是你对他们说我们要做这件事情,他们马上可以说这件事情不能做,或者说有什么原因是不能做,这些都是很厉害的人。

你说到这个,我想到其实你书里就除了刚才我们讨论的罗老板旗下的那些研究者之外,还有一些挺神奇的人物,比如说这个安德森,他是那种比较天才型的,可能是刚刚说的第一类,特别聪明,然后他也很喜欢喷人。这个形象有点让我想到了乐坤。

我不知道你写的时候想了没有,可能你没有想到这个。他对于一些重要的问题有自己非常独特的坚持,这个坚持会让他自己走下去。当然是这样子,他经常会在社交媒体上对现在的一些方法有些比较犀利的评价。

这个其实对于研究员来说很重要,因为每个人都有自己独一无二的地方。就是每个人有自己的一个主见和想法,要把这个事情做好。为了做这件事情,就必须把这些资源聚拢起来,把事情做成了。

所以其实都是,如果一个人只会人云亦云,我觉得大模型是对的,那所有人都觉得大模型是对的,那这个其实就是构不成一个研究员的方向。因为大家都做一样的东西,实际上无法说明,这个人他到底有什么样独特的见解和文件。

我觉得以后在AI泛滥的年代,在大家都去“你世界”了,然后大家都有AI来做自己的研究助理的时候,有没有自己独具外的观点、想法和思路,并且能够坚持下去,这可能非常重要。

对,我觉得最后这一部分是想聊聊,就是你自己作为一个AI的使用者,指的是作为创作者的这个角色和AI的研究者之间的这个双重身份的关系。而且你现在作为创作者,你也是会来用AI的嘛,虽然可能之前没有用,因为《破晓之中》这本书是2020年开始写的,2021年写完的。然后我知道这一本是你完全手写的,就是手敲的,没有借助任何的大模型。

那你后来也是有分享过,写续作《幽夜新火》的时候,你是试了用一些模型来辅助自己的,你可以分享一下这些体验吗?

对,体验上来说呢,还是应该说现在的模型还没有那么好。这个是我现在一个初步的体验。因为主要还是在于模型本身的目的,一个是我希望这个模型去模仿人的写法。就是说我希望预测,比如说人给他喂的那些数据,希望他预测下一个字符,下一个token,预测比较准。

这是一个非常简单的一个目标函数。因为这个模型训练完之后,它的能力就局限于这个模型的数据给他的能力。它的目的是希望去模仿别人的写法,所以它就没法出新。

具体表现上来说就是这样:你让他写一段故事,他可能会写到最后就收远到一个王子和公主的幸福结局,或者从死之后,地球又和平了这样的一些比较无聊的故事吧。就比较难让他真的去思考一些在极端情况下会发生一些奇怪走向的东西。他是非常不擅长的。

这个是我看到很大的一个问题。可能你会发现他在写的前500个字,或者前1000个字,他会有一些比较有趣的人物或者互动,但是再往下写他就失去了这个互动的意义,然后回到了一个比较单纯的设定,这都是问题。

你觉得不同的模型在表现上会有什么区别?比如说像CO、Cloud,还有Gemily,还有Lama,包含我知道春节的时候我看你发朋友,确实说你也用DeepSeek,试了一下他的这个文本创作的能力。

对,DeepSeek虽然说你乍一用,感觉他的故事脑洞非常大。但是真的用起来也不是很好使,因为他的逻辑性没有那么强,还是有很多奇怪的、莫名其妙的想象。所以他的脑洞太大了,很多想象是没有根据的。

对于小说创造者来说,这个是比较麻烦的事情。比较适合脑洞,但是真的成文,我觉得这个模型不太好使。所以还是比较适合,比如说用Gemily来写最后的文字,这个是我的想法。

然后Cloud,我感觉上他的训练方式应该跟其他模型并没有那么一致,我感觉他里面应该也加了一些有趣的数据,让他写出来的东西,逻辑和分析性比较强。就比如说你给他一段话,也没有几个角色,包括一个主角和配角,其他的模型只会根据主角去写故事。

但是他的模型,Cloud的这个模型,3.5这个模型,我还没试3.7,至少会分析这些角色之间的关系,而且能写出一些他们之间可能会翻身的互动,这让我觉得非常有趣。应该说其他模型没有那么强的对配角的一个感知的能力。

对,搜可能比较平淡,应该就是说可能就是一般的情节发展,最终会得到一个比较无聊的答案。这是我的看法。 Jemini

至少我在2.0的时候,我用了一下,2.5还没有用。在2.0的时候,我用的时候,我觉得应该说他比较细。他写的时候文笔其实还是不错的,就是他的文笔,或者说他是描述性文笔。他会跟你说,这个环境是什么样子的,然后这个人在什么地方,怎么做什么事情,就是他写的会比较细,相对于其他的模型来说。

所以这个其实让Jemini 2.0,至少我觉得好像让他写一点具体的情节,给定这个大纲之后写情节,他还是可以写一点。但是写了之后,还是会觉得比较平淡,其中还是希望有一些比较好的转折,转折还是需要人去思考。总的来说还没有那么强大,但应该说比一年前要强大得多。

因为我们在23年的时候,还有一部分工作是用大模型来写小说,确实有过几篇文章。这个时候用的还是比较差的模型,比如说GPT-3.5,这样的模型。在那个时候,你会发现这个水平就差很多了。所以现在这个模型的水平已经远远超过之前的模型,但还没有达到人类写手的能力。应该说,应该说就是有一些巨大的鸿沟,应该这么说。

那完成总结的话,现在可以用的部分,或者说你自己摸索出来的让AI帮你写小说的工作流是怎样的?你刚刚提到了一点,就是在给定大纲的情况下,GEMI 2.0是可以写一些具体的情节的。那是的,一般是这样。一般是你先有个想法,然后用它来细化大纲,对吧,然后那个大纲慢慢的再细化一下,然后把每个大纲拿出来写一段,大概是这样的一个过程。你要保证这个大纲它的结构是比较完整的,然后那个人和人之间的关系也比较自然,或者说比较一致。最终写出来的文,或者情节应该没有太差,就是知识人能看的。就是说可能是可以作为一个比较拙劣的作品,可以拿出来给大家看看,这可以。

但是你要真的去细的去读一句句的话,你会觉得这个人写的描述不是很够位,或者说那个人写的描述跟这个描述差不多。就是或者说前面这个人在做了一个很细微的事情之后,后来把这个事情忘了。所以这些问题现在来说没有那么容易解决。你细化大纲也是用Gemily来做吗,还是用哪个模型会更顺手?大纲的话还是会用比如说人来写,就是有些重要的故事发展,因为你在故事发展的时候,还是希望有些新奇的东西出现。

然后希望这个故事的发展还是要让人去真正的去体验,去真正的去思考。我觉得这个还是重要的。就是你试图用模型来做过这个小说的大纲,但是效果不太好,可以这么说吧。现在应该说是这样,比较,因为总说就是他们会陷入某些套路。比如说像外星人入侵地球这样的一个大纲,他们一定会说,先入侵地球了,然后地球爱好者也全都快挂了,然后有一个领袖带领大家战胜的外星人,最后和平。

而这些故事应该说你是烂大街了,大家都知道怎么写。但是你作为小说家,你不太希望就是故事真的是按照这个方式写,或者说至少在这里面应该会有一些比较,更加自我的或者更加大的波折,然后把这个事情做成。应该说小说家应该是很挑剔的一个什么,反正是被AI生成过的东西就不想写成这个样子。

所以我感觉小说家永远不满足,完应该是这样子。你现在用AI来辅助写小说的话,他会怎么影响你写作时的那种状态?比如说他会让你更有心流更专注,还是他会打断这个感觉?对,这个很好的问题。我觉得其实还是会打断的。应该说很多时候这样的一个过程,就是如果有一段是真的我是想写的,然后我也不想让AI打断的话,我就会完全让自己写,还不会去让AI去改。然后把这段写完之后,可以说这段是我保留的,我不希望你动,或者说你有些认识就可以。

有些部分呢,我可能是有部分我也没有空写了,然后我让他来填充。通过这方式可以组合AI跟人之间的创作,这是这种办法。但这个其实需要一些,就是你需要写个程序吧。就是比如说你输的时候,你有一大堆的东西,里面有一些是人写的,有些是空的,但有些大的想法,然后这个大一部分拿过来,然后用AI去处理一下。

然后他发现这部分需要用AI填充的,那么你去调AI,去调用这种模型,然后把它填进去。所以你是自己做了一个这样的小工具给自己用是吗?对,我有这样很多这样的小工具。这个我觉得挺好的,它其实是一个囊括了AI和人的一个协作的软件。我可以这么理解吧?对对对。

但是其实这个东西也是变化很大的,就你可能每天换个想法重新再写一套,这都是有可能。你这个是现在只是在自己用是吗?你有分享给比如说其他写东西的朋友用吗?没有,没有没有,这个我都不太好意思拿出来,因为我眼上都非常好,对吧,然后很多东西要修改,而且这个流程本身也在不断的变化中吧,也不是说是固定的。

那你写这个工具本身你是自己敲代码写的,还是也是用AI帮你编了一部分呈现?那当然是AI帮忙的,就是比如说Cursor之类的这种是吗?对,我是订阅的,我是Cursor的用户嘛。我一个月二十美金可以订阅,了解。所以这个AI其实是渗入了现在的很多环节对吧?先用AI帮助编程一个写作的软件,然后再用这个写作的软件,又可以调模型来和人一起写小说。

这个肯定是目前最有效的,我现在看不到更好的。但是具体怎么调用,具体通过什么方式把人和AI的写作合起来,都是一个问题。对,我觉得你现在这个生活很有意思,一方面你是一个AI研究者,这是很新的一种职业,另一方面作为一个小说作者,其实是讲故事嘛,这是人类可能有了语言文字以来最古老的一个活动之一。你同时做这两件事,他给你带来的比较特别的体验是什么?

体验应该是这样,之前我也曾在周上分享过,我觉得我不靠谱的想法是写小说,靠谱的想法用来写论文,大概是这样的一个想法吧。那么这样的话不会浪费掉我的一些想法,然后这两边的交互呢,其实也可以让我自己有些新的想法和体验。包括比如说这次的采访对吧,也会让我一些新的想法。

所以这个本身是一个让我觉得非常享受的一个过程,也是一个调剂吧,因为如果你天天想写代码或者天天想研究想法的话,它思维还是会枯竭的。如果有一些跳出这个局部的优化或局部工作的大的脑洞式的工作,可能会让这个局部的工作变得更有趣,同时能够看到更远的东西。比如今天的采访会让你想到什么新的东西?对,就是今天采访会让我去想,比如说之前您跟我问的那些问题。比如说我在我的博客里面会有这样的一个转化过程。提纲里面写完之后,我突然意识到,我真的是有这样的一个全人民法,您做了这样一个数据化的工作。

然后我发现我的博客里面确实就这么写过,我意识到,其实我的思想和想法也是在随时期间的变化,这对我来说有很大的一个帮助。我也很非常感谢。这个很有意思,像之前还有个问题吗,就比如说包括这部小说写的博士生是搞物理的,搞纳米的,而不是搞计算机的,对吧?我觉得我在写的时候没有想过,这个为什么要从搞物理入手。但我潜意识的觉得从搞物理那边去写会更有意思一点,所以我从这个方向去写。但是我看了这个问题之后,我会想到,其实我当时潜意识的觉得如果从计算机的方向出发,可能我也陷入赛博朋克的风格。

就是有个黑客,计算机非常厉害,它前轮不过系统,然后把系统黑掉了,从此成为救世主,这样的一个模式,应该说在《黑客帝国》里面已经出现过了。对吧?所以我可能在水座的时候,下一次会避开有一个套路,去找另外一条路。但是我自己没有想过这个问题,但是你这边一问我会想到,可能是这个原因。所以通过这个方式可以把一些潜意识的东西具象化,然后会有更好的思路会冒出,而且它在情节上也是更严谨的。

因为你这个故事里,它其实是中间有一个东西完成了所思及所得,那还是靠物理完成的,就是他们那群博士生当时在研究的这个纳米机器人。对,你还需要物质基础,对吧?你不可能直接完全是数字化的。所以这个还是需要这么写的。总的来说,我觉得通过这段交流,是有很大的一些有意思的思维碰撞。

你觉得未来一段时间什么样的写作可能会被AI替代,什么样的写作是不会被AI替代?比如说未来五年吧,可能说我们可以说稍微短一点的时间。我觉得是这样,还是希望每个人能够分享自己独一无二的,或者说是没有人见过这些见解。我觉得这个可能是不会被AI取代的一部分,因为总的来说,AI还是需要新的知识作为它的知识支援,然后进行训练。

如果这个新的知识AI现在没有办法创造,或者说没有办法生成的话,那么每个人类自己携带的新的知识,可能会成为AI最想要的东西,或者说会成为最有价值的信号。我觉得这部分应该说是比较难。最终可能大家会变成自己的个性化写作的过程,就每个人都想分享自己的经验,而每个经验可能是从来没有被探索过,从来没有见过的,比如说是这样子一个设定。那么这可能会成为人类真的是探索星海的一个原动力,这可能我之前也在一个博客里写过。

如果真的大家变成这样的一个社会的话,可能有人说,我愿意去月球,或者我愿意去火星,我成为一个登录火星的人,然后把所谓登录火星的知识都分享给大家,因为这部分知识是我们的数据库里面从来没有过的。我觉得这个应该说是非常重要的。但是项目性写作,比如说公文、法律条文,那些东西,可能就没有那么创意的,可能会被AI的标准程式、标准模式给取代。

你说的这个点和小说情节又呼应了,就像银河联盟,它最想要的,就是散落在宇宙各个角落里的新的想法,然后AI可能未来一段时间最想要的是人们的独特的体验和想法,我觉得应该是这样的。这个都是一致的,因为我并且想过这些东西,在这个《破晓之中》里面,有一个很经典的情节,就是有一刻人类可能要灭绝了,就编制了一串遗产信息,是关于人类文明的记录的。你在书里是这么描述的:我们是人类,曾于银河系悬壁,太阳系第三行星居住,被银河联盟毁灭。我们知道四种基本力及118种由不同原子构成的元素,目前模式识别方式为多层非线性神经网络。我们存在过,经历过,抗争过,感谢你的收听。

然后这个里面其实都是讲的一些理工科的成果,好像没有放什么文化艺术的东西。如果可以放的话,你会放什么?我觉得是这样了,首先第一个,这个是个无凭之士,我不觉得文化艺术是不重要的。不过,当然对于这样的一个信息来说,我觉得比较重要的是如果真的我们人类发出这样的信息,一定是在信息的一开头,给大家讲一些共通的知识,比如说数学和科学技术那些是共通的。如果物理定律是一样的话,全宇宙都是有同样的信息。

那么发出这样的信息,如果有其他的生命接触到,他们可能是更容易理解。然而文学艺术那个是独一无二的,那个信息应该说,实际上不那么容易被地外生命所理解。所以我会放在后面。

那我想补充问一下,就是在你放的这些共通的信息里面,我觉得对经常看科幻的人来说,比如说描述地球在银河系的位置,在宇宙的位置,包括物理的四种力,对吧?什么强力、弱力、电磁力什么的,然后化学元素,这些都比较常见。这个模式识别方式为多层非线性神经网络,这个显然是在说人工智能。就是你可以讲讲,就是他为什么是这样去描述的?

对,我觉得我这么放的一个原因,是因为这个其实是代表了人类对知识或对于智慧、对于数据的一个工具的一个方式。对吧?就是我可以说,比如说我们大家从一个信息的处理的这样的一个方式出发,对吧?你有很多方式可以处理信息,比如让人去处理信息,然后让简单的模型去处理信息,或者让比较复杂的深度神经网络来处理信息。根据人类处理的信息的一个方式,其实可以大概判断出这个智慧总体它大概处理什么样的状态。所以这个可能是一个标志性的事件,应该可以这么说。 所以我会下意识地把AI的地位拔高,所以这个有一个自我的一个BIOS在上面。

对AI来说,因为一旦这个机器能够更智能地处理信息的话,那其实对于整个人类的认知能力是有很大的提升。

在多层非线性神经网络之前,人类的模式识别方式是什么?就哪些东西叫做模式识别。那之前是这样,一般是在生物学系出来之前,我们一般是这么做的。我们先有一些人工写下来的那些特征,比如说我知道今天天上有云,所以有可能会下雨,这样的一个简单的逻辑推论。

那么对于人类来说,就是在神经网络出现之前,我先把天上有云这件事情作为一个事实,写在数据里面。然后我希望这个模型和天上有云直接联系到下雨,这样的一个学习过程。但是就是说对于这个学习过程来说,首先需要有人把天上有云这件事情写下来。那么这部分其实是人类的知识,人类知道天上有云这件事情与下雨是有可能有关系的,但关系有多大不知道。

但是我先写下来,让机器去学。所以那个时候,机器学习相当于人类已经知道了大致的逻辑关系,然后让机器学定量的关系。在数学期,其实把这个过程给颠覆了。就生存学习来说,就是我其实并不用写“天上有云”这几次的字。我只要拍一张,比如说今天的照片,然后这张照片,用它的预测来看接下来会不会下雨。那么生存学习在足够的样子情况下,它可以自动地把这个照片里面那些可能的模式连接起来,然后让它预测会不会下雨。

那它比如说,它可能会把上面那些像素拼在一起,然后拼在一起之后,看起来像是个云的形状,发现这个云的一个高层的概念跟最后的下雨这个结局是有关系的。那它因为这个原因,所以它会自动学出来这个云的概念,而不是让人去调伏它就有云这个概念。所以因为有这个能力,它其实在很多情况下,显现出一种比较超乎寻常的能力。它会自动去学习概念,自动去总结高层的经验规律,然后用它去预测将来,预测其他的一些数据。

那么这个其实是一个飞跃,它意味着因为人其实并不需要花很多心思和代价去真的去帮助机器去标注很多高层的概念,然后去学最后的功力,而让机器把整个过程都自己做了。这其实是应该说,至少对我来说,我觉得是生物学习在获得那么大成功的原因所在。

那我们目前能看到模式识别的下一个方式的苗头了吗?就多层非线性神经网络之后,可能是什么?现在应该说还没有完全看见。因为我觉得现在目前还是在这个框架内在玩,我觉得可能之后需要有办法能够找到更有效率的找到这样的模式的方法,然后不用通过大量数据。

还有一种就是,你怎么样去学给它高层的概念的组合。比如说小学生其实都知道怎么算多位数加减乘除,多位数的规则。他马上可以知道任何两个数字乘起来应该怎么算,写个算式,一个算。那么只要小学生足够细心,答案一定是对的。

但是机器就是做着做大量模型,对目前来说,它还是没有办法学会这种高层的规则,让它去做一个三位数乘三位数的乘法,它能做对,四位数也可以做对。但是比如说你大到,比如说12位数乘12位数,它就开始错了。它有一个界线的,然后在这界线之外,它又做不出来了。

所以它其实并没有学到真正的就是乘法的规则,但是它是通过大量的模式,比如说它看到了最后两个数字是25和两个5,那下面可能是25,大概是这样的一个逻辑结构,或者这样一个经验规则。它把这经验规则全部拼起来之后,大概能猜出来最后的答案是什么,结果是正确的。所以但它并不是一个真正的逻辑规则去计算多位数乘法。

所以这个能力其实现在应该说很欠缺,应该说这是一个很大的问题。但是怎么样去解决它,然后怎么样能够让AI变得更聪明,这个其实是我们现在研究院想要做的一个事情。

我有一个小的问题,就是为什么把它翻译成宇宙都能听懂的共通性语言的时候,你没有直接用人工智能,而用的是模式识别。因为人工智能这个名字实在过于太大了。

所以我可能会更加想用工程性的或者说精确的一个描述去回答这样的问题。对,因为AI这个字,可能是对大众来说,可能是一个符号。但是对业内人来说,还是希望讲得更加细,更加精确的会比较好一点。

那最后一个问题就是关于,如果你能在这个人类遗产的信心里面放下更多的文化内容的话,比如说放三本可以进入人类遗产的科幻小说,你会选哪三本?我肯定要选《三体》。我觉得《三体》是应该是为数不多的小说,我看完之后,我会觉得整个世界发生了变化的这种感觉。因为就是说它给整个世界给了一个不同的解释,对吧?然后或者说,你会让你有一种感觉,就是我现在活着这个世界是没有那么真实,也许到后面还有一层深的真实在那里。其实我看完的一个感觉,我可能连几天有种感觉,慢慢才会缓过来,就是后劲特别大。

所以特别是第二部的结局,应该说是比较大的。然后当然还有就是基地系列,这样一些经典,咱们也是应该说是能够放进去的。其实刘慈欣也写过一个小说,是关于虚拟世界还是去探索宇宙的选择的一个短篇小说,就是《不能共存的节日》。那个你可能应该也看过。

对,它是一个二选一的选择,然后我觉得《破晓之中》这个故事挺有意思的。它其实是告诉了说在这个二选一之外是有另外一种可能的。

对,我觉得可能是人类应该会找到自己的出口,并不是说一旦进入虚拟世界之后大家就完蛋了。我们现在之前的很多小说是这样子,就是大家进入虚拟世界,虚生梦死了,然后就不再探索宇宙了。但是真的,这种事情发生了之后,我觉得应该会有一个中间,很多中间状态。这种状态其实会找到一些自己的出口,然后让我们的人类的好奇心继续能够流存下去,我觉得应该是这样子的,没有那么极端,没有那么极端。

好的,那今天非常谢谢田园洞田老师来做客晚点聊,分享了他创作《破晓之中》这本科幻小说的思路,他想表达的主题,以及这本书中涉及到的一些科技的想法和AI的思维。那这本书的一个出发点就是想去写AI时代的和AI技术相应和的新的科幻的幻想,然后这本书里确实也有很多这方面的巧思,包括我们最开始提到的,它某种意义上也和后面AI这几年的一些发展可以印证上。

那欢迎大家有兴趣的话可以去看这本小说。另外这本小说的第二部正在田园洞老师的个人主页上连载,大家有兴趣的话也可以去看。那今天谢谢田老师做客。好,非常感谢您的邀请。好,拜拜。

拜拜。

本期连点呈现分享两个和之前节目的呼应。一是在聊《破晓之中》里的AI技术和思维时,田园洞提到他在2020年开始写这本书,设计承载人类意识的立方体时就有部分影射英伟达。书中外星文明对立方体设计的一个屏障是立方体之间的带宽有严格限制,这就是为了防止大量立方体的互联涌现出新智能。而我们看这之后几年的GPU和AI芯片系统的优化思路,就是互联更多的芯片。

在115期与模型智能创始人徐林杰聊华为4月新发布的Cloud Matrix 3840,我们详细讨论了这个趋势。除了华为之外,英伟达也推出了NVL72,这是它在2024年之后最重要的AF武器方案。那么书里的“人类是怎么绕开带宽限制,突破银河联盟的防线呢”?其实和后面的业界思路也很相似,就是找到一个方式能在传输数据时尽量不损失信息,但又降低对带宽的需求。

比如DeepSync V3在H100的带宽简配版H800上,就是用了FP8这种低精度的数据格式,降低了对通讯带宽的要求。二是关于更强的AI到来之后,社会和世界怎么变化。

这其实是我们在过往多期聊AI时都会涉及的议题。在IAI系列的第一期,晚点聊109期中从个人的角度聊了普通人可以怎么应对和使用AI。他说AI是一次放大个体能力的机会,大家可以对AI多一点耐心,不要试一下就放弃,可以多摸索一下现在的AI的能力边界,能做什么,不能做什么。在106期与戴宾森真格聊Agent时,他则是从社会结构的角度提到了一种有可能比较惊悚的未来。

他的观察是强化学习进入的领域陆续遭遇离世时时刻,即AI超过人,甚至强到人无法理解的时刻。那么如果AI模型越来越强,有钱就等于有算力,就等于有生产力,这会不会带来资金转化为生产力的scaling law,让本身掌握资源的人有更多资源,让阶层流动和新公司的崛起变得更难。田园洞则用科幻故事的形式更详细地描绘了他设想的未来。

这里有虚拟世界中三流画家的空虚,有一边进入虚拟世界,一边走出太阳系的可能,也有他对高级文明的需求的想象。他认为科技最终会发展到所见及所得的状态,这是一个已经非常高级的文明会担心什么,想要什么呢?他的答案是宇宙中独一无二的智慧和想法是其他的更优的可能。

这其实也有点像大模型现在对我们的需求,它需要更多数据,而数据又是对人类想法与智慧的抽象。我们产生新的优质数据的速度好像有点赶不上大模型的需求了。不过这一定是一件坏事吗?本期节目就到这里,欢迎收听。如果你对今天聊的话题有观察、好奇或疑问,欢迎在评论区分享想法,这也会成为我们节目的一部分,让整个讨论更完整。

你也可以把我们的节目分享给对这个话题感兴趣的朋友,欢迎推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果Podcasts等渠道关注晚点聊Late Talk,也欢迎关注我们的公众号晚点Late Post。下期再见。

Questions and answers
What are Tian Yuandong's two main professional roles mentioned in the podcast?
Tian Yuandong holds dual roles as the Research Director for Meta Gen AI and as a novelist.
How does the novel 《破晓之中》 reflect the author's background as an AI scientist?
The book reflects the author's AI background because its core science fiction concepts and ideas embody an AI scientist's technical thinking, aiming to write sci-fi with an AI core.
What is the core conflict introduced by the alien invasion method described in 《破晓之中》?
The core conflict arises from the Silver Union aliens invading not through direct attack, but by luring humans into a virtual world offering comfort and eternal life, which splits humanity into two opposing factions.
How did Tian Yuandong begin his journey as a novelist, and specifically how did he come to write 《破晓之中》?
He started writing novels around 2005-2006 and began serializing 《破晓之中》 in 2020 to create the pressure needed to finally complete the story.
What specific core AI or technical concepts from his research are integrated into the plot or world-building of the novel?
The novel incorporates AI concepts like overcoming bandwidth limitations efficiently without losing information, and the 'Lingjie' (临界立方) concept which relates to GPU clusters and their interconnection for intelligence emergence.
According to Tian Yuandong's imagination, what is the potential long-term trajectory for humanity regarding virtual worlds and interstellar exploration?
He believes entering the virtual world is likely inevitable due to human physical frailty, but humanity might continue to explore interstellar space by taking their virtual existence with them, combining both aspects.
What potential crises might a civilization face upon reaching a technological state where 'what you think is what you get' is possible?
A major crisis is the potential loss of the human capacity for progress and the drive to strive when all desires and needs are instantly fulfillable in a highly advanced state like 'what you think is what you get'.
How does Tian Yuandong describe the difference between current AI efficiency and human learning efficiency, and what does this imply about AI's current state?
He feels current AI efficiency is still 'clunky' compared to the human brain, which can derive deep understanding from very low-bandwidth input, indicating current AI methods might still be inefficient for true intelligence.
How does Tian Yuandong currently use AI tools in his novel writing workflow, and what are the main limitations he has observed in current AI models for creative writing?
He uses AI to assist with refining outlines and filling in details for his sequel, but finds current models lack originality and tend towards clichés because they are trained to mimic existing styles rather than create novel ideas.
Why did the author include 'multilayer nonlinear neural network' as a description of humanity's pattern recognition method in the legacy message, rather than just saying 'artificial intelligence'?
Including 'multilayer nonlinear neural network' in the human heritage message signifies that this represents humanity's current primary tool or method for processing knowledge, intelligence, and data, marking a key stage in their cognitive development.