对Scaling Laws指引下AI硬件端投资的认知

发布于: iPhone转发:19回复:58喜欢:60

最近,对Scaling Laws的认知理解随着新的学习是不断加深的,我愈加相信Scaling Laws是通向AGI的不二法门,它所揭示的规则也必然会得到持续印证和加强。

对硬件的估值从短期的业绩驱动转向长期供给短缺的超级成长驱动,对估值的拔升可能存在巨大的空间。

什么是Scaling Laws?

Scaling Laws(规模法则)是基于OpenAi于2020年1月23日发布的论文《Scaling Laws for Neural Language Models》提炼出来的核心论点。

简而言之,基于Transformer架构的模型,其性能受到模型大小、数据集大小、计算浮点数影响。

其中,模型大小是最重要的影响因子。模型规模越大,模型能力越强。

模型的规模则是由模型训练程度和模型推理能力决定,训练和推理则是由投入的算力决定的。

综上,Scaling Laws揭示的AI模型法则是,模型能力取决于投入的算力资源。投入算力资源越多,模型能力越强。

这条法则经OpenAi提出和践行,已经被奉为AI时代的摩尔定律,是通往AGI的必然之路。

OpenAi创始人奥特曼评价:Scaling Laws是上帝决定的,科研人员只是设定了模型参数。

也就是说,基于Transformer架构的模型之间本质上的差距可能没有想象中那么大,所表现出来的能力差距很有可能是模型规模的差距。

OpenAi也无法解释ChatGPT3.5所表现出来的能力,他们称之为智能“涌现”。即,当算力投入达到某一临界点时,模型就“涌现”了部分能力。

ChatGPT4和Sora可能是这种“涌现”能力的新的表现形式,本质上是模型规模扩大造成的。

因此,美国科技界相信,只要不断加大算力投入,模型可能会不断涌现新的能力,最终实现AGI。

Scaling Laws指引下的投资法则

Scaling Laws指引下AI时代前期最大的受益者就是算力提供方,英伟达

去年,北美六大厂的资本开支等于英伟达的营收,可以看到,模型厂在算力上投入的钱大部分都流入英伟达口袋里了。

可以预见,只要Scaling Laws继续生效,砸下去的算力最终体现到模型能力上,模型厂对算力的饥渴就不会停止。

对AGI的追求就是新时代的登月计划,没有人会在这个时候计算投资回报比,先登上月球是最要紧的事。

何况,在追求AGI路上,模型不断“涌现”出来的能力也是具备商业价值的,只是目前对能力的开发没有跟上而已。

在Scaling Laws指引下的AGI“登月计划”的历史进程中,我们普通人目前能参与的也只有对于硬件设施建设的股票投资上的。

现在,市场对硬件估值分歧在于,你是按照24、25年业绩去算硬件公司估值还是基于Scaling Laws指引去给硬件公司估值?

如果你信仰Scaling Laws,那么,全球算力基建提供方的业绩将永远超预期,就像英伟达去年所表现的那样。因为需求是永远大于供给的。

Scaling Laws指引下的硬件发展方向

Scaling Laws指引下,英伟达也在一路狂奔。

去年,英伟达已经从一家GPU芯片提供厂转变为整合计算、通信、存储等能力的算力整体方案提供商。

因为,英伟达不仅需要提升计算芯片性能,通信速度和存储能力也要跟上。

本质上,是对更大(HBM)、更快(CPO)、更强(GPU)的追求。

所以,今年HBM份额年初就已经被订完了,最大份额流向了英伟达。算力芯片H200和B100相继推出,代表通信速度的CPO进度很可能也会超出预期。

最近,英伟达CEO 黄仁勋在访谈中强调,在未来的10年里,英伟达将会把深度学习的计算能力再提高100万倍,从而让AI不断训练、推理、学习、应用,并持续改进,未来不断将超级AI转变为现实。

很多人可能觉得黄仁勋是在放卫星。

但我觉得,英伟达如此自信,是因为它是AI产业的深度参与者和直接受益者,它所感受到现在和未来对算力的需求恐怕是最直接和最深刻的。

我相信,最终能实现AGI的公司一定不是基于商业利益的追求,而是基于对技术和AGI的信仰。

我相信Scaling Laws的揭示和AGI的指引,坚定AI硬件投资的大方向,当下市场的任何题材、波动已经不能引起我的兴趣了。

精彩讨论

Augustusss03-11 15:13

今天盘中的事情一言以蔽之,Scaling Laws得到了验证。
顶着英伟达日内-10的负反馈开盘,核心标的没有跳太深就被接住了。
下午,工业富联在消息驱动下带领板块收复失地,联特科技受消息刺激一度涨停。
有的人或许认为是偶然的消息或小作文带动的,但如果你以Scaling Laws这个人工智能第一性原则来审视,一切都是必然发生的。
算力必然不够,所以紧缺。
服务器需求产能错配,所以必然转移订单。
通信速度加快,所以光模块必然加单。
hbm产能永远紧缺,所以必然扩产。
与其去博弈五千多个不确定的标的,不如紧紧抓住Scaling Laws这个上帝定下法则,围绕Scaling Laws去找最核心的标的。
回头看这个月工业富联、赛腾股份、罗博特科的涨幅遥遥领先。
这钱不仅赚得安心,还能赚大钱。

Augustusss03-12 23:14

如果你不理解Scaling Laws,你就不能理解nv。
Furthermore,Scaling Laws不是用来理解,而是用来信仰的。

Augustusss03-30 12:34

微软和OpenAI计划构建一台拥有数百万个专用服务器芯片的人工智能超级计算机,为OpenAI的前沿技术提供强大的动力。该项目的投资规模可能高达惊人的1000亿美元。
高管们构想中的这台超级计算机名为“星际之门(Stargate)”,它将坐落于美国,并有望成为微软与OpenAI未来六年内计划建设的众多设施中规模最大的一座。
关键词:数百万芯片互联、资本开支1000亿美元、六年计划建设众多设施。
还有人在质疑没有下游应用,大厂会不会停止资本开支,硬件增长会不会放缓。
朝菌不知晦朔,蟪蛄不知春秋。
不理解Scaling Laws根本不可能懂AI。

Augustusss03-11 17:09

英伟达盘前转涨1.5%,你永远可以相信Scaling Laws最忠实的践行者和最大受益者

落笔摇五岳03-22 09:03

【皮衣刀客:未来10年,英伟达会把AI算力,再提高100万倍】
Scaling Laws:
通往AGI的登月竞赛,算力的需求,看不见天花板。
本质上,是对更大(HBM)、更快(CPO)、更强(GPU)的追求。
最近,
英伟达CEO 黄仁勋在访谈中强调,在未来的10年里,英伟达将会把深度学习的计算能力再提高100万倍,从而让AI不断训练、推理、学习、应用,并持续改进,未来不断将超级AI转变为现实。
坚定看好,AI
坚定看好,算力
坚定看好,中际旭创 168,中科曙光 52,新易盛 75。
2023年,北美AI算力,独领风骚。
2024年,国产AI算力,紧追北美AI算力。双龙戏珠。
$中际旭创(SZ300308)$ $中科曙光(SH603019)$ $新易盛(SZ300502)$

全部讨论

今天盘中的事情一言以蔽之,Scaling Laws得到了验证。
顶着英伟达日内-10的负反馈开盘,核心标的没有跳太深就被接住了。
下午,工业富联在消息驱动下带领板块收复失地,联特科技受消息刺激一度涨停。
有的人或许认为是偶然的消息或小作文带动的,但如果你以Scaling Laws这个人工智能第一性原则来审视,一切都是必然发生的。
算力必然不够,所以紧缺。
服务器需求产能错配,所以必然转移订单。
通信速度加快,所以光模块必然加单。
hbm产能永远紧缺,所以必然扩产。
与其去博弈五千多个不确定的标的,不如紧紧抓住Scaling Laws这个上帝定下法则,围绕Scaling Laws去找最核心的标的。
回头看这个月工业富联、赛腾股份、罗博特科的涨幅遥遥领先。
这钱不仅赚得安心,还能赚大钱。

微软和OpenAI计划构建一台拥有数百万个专用服务器芯片的人工智能超级计算机,为OpenAI的前沿技术提供强大的动力。该项目的投资规模可能高达惊人的1000亿美元。
高管们构想中的这台超级计算机名为“星际之门(Stargate)”,它将坐落于美国,并有望成为微软与OpenAI未来六年内计划建设的众多设施中规模最大的一座。
关键词:数百万芯片互联、资本开支1000亿美元、六年计划建设众多设施。
还有人在质疑没有下游应用,大厂会不会停止资本开支,硬件增长会不会放缓。
朝菌不知晦朔,蟪蛄不知春秋。
不理解Scaling Laws根本不可能懂AI。

03-12 23:14

如果你不理解Scaling Laws,你就不能理解nv。
Furthermore,Scaling Laws不是用来理解,而是用来信仰的。

03-22 09:03

【皮衣刀客:未来10年,英伟达会把AI算力,再提高100万倍】
Scaling Laws:
通往AGI的登月竞赛,算力的需求,看不见天花板。
本质上,是对更大(HBM)、更快(CPO)、更强(GPU)的追求。
最近,
英伟达CEO 黄仁勋在访谈中强调,在未来的10年里,英伟达将会把深度学习的计算能力再提高100万倍,从而让AI不断训练、推理、学习、应用,并持续改进,未来不断将超级AI转变为现实。
坚定看好,AI
坚定看好,算力
坚定看好,中际旭创 168,中科曙光 52,新易盛 75。
2023年,北美AI算力,独领风骚。
2024年,国产AI算力,紧追北美AI算力。双龙戏珠。
$中际旭创(SZ300308)$ $中科曙光(SH603019)$ $新易盛(SZ300502)$

03-11 17:09

英伟达盘前转涨1.5%,你永远可以相信Scaling Laws最忠实的践行者和最大受益者

本质上,是对更大(HBM)、更快(CPO)、更强(GPU)的追求。

03-10 23:45

规模法则

还看好cpo?

辛苦了