泡沫艺术家 的讨论

发布于: 雪球回复:6喜欢:40
其实天天玩本地部署ai的都知道,推理的硬件需求远远低于训练,尤其是一些量化模型还能极大的节约内存。去年是训练端硬件需求爆发,但是这样烧钱的下游是不可持续的,而且订单因为需求的饱和,也会慢慢下来。这意味着今年先进制程会开始过剩,所以美股那财报后猛跌是有基本面原因的。
话说好多估计炒ai的就跟分不清传统制程与先进制程一样,分不清推理与训练的硬件差别。

热门回复

算力远远不够,现在需求只是被英伟达的高价给压制了

短期内还没有到C端市场,对于企业来说几十万硬件就可以玩AI,还是有吸引力的。

ai看似很好,但是对普通人基本无用,toB的生意都是不见兔子不撒鹰,能用廉价人力劳动力的时候ai这个娇贵的玩意就是玩具而已,要知道非洲等第三世界还有吃不饱饭的人,所以人力无穷。之所以现在用不上那都是发达国家觉得成本不可控,要工厂的工人培育都需要时间,但是盖房子,通下水道的人力很容易弄到。
如果现在些大企业ai搞不上来钱,还拼命的投入注定不可持续,最后搞不下去了就是越来越多公司法放弃投入,哪怕知道是未来也会放弃,因为他们没有巨量的钱财砸进去和几个巨头竞争。

我这里一般70B推理服务器给的配置是4块A10,超微740的平台,16块32g内存,再Raid1弄个2块硬盘,20万都要不了[斜眼]

推理用到的设备,20-30万左右就可以弄一组70B模型推理硬件了。[捂脸]

泡大,再展开讲讲[祝涨][祝涨]