昨晚$英伟达(NVDA)$ 大跌10%，美股AI集体大跌。
4月7日，我在行业观察的时候写过《AI观察：市场又给英伟达多头送响亮耳光》，如今上述趋势愈演愈烈，其中还有些变化，特与大家做同步。
（1）大模型之争：烧钱的战争，AI公司确实没钱了
文生图领域王者玩家Stability AI CEO 及核心团队相继离职，公司每月运营成本高达800万美元以上，完全入不敷出。
微软的管理层之前发言称，即使只维持ChatGPT的基本运作，每年也需要约160亿美元的成本。
openAI爆火的文生视频模型Sora，海外机构测算，如果全量放开训练好，芯片成本就需要至少800亿美元的投入……难怪奥特曼说要自己搞芯片。
23年Q3，通过内部人士了解的情况，在大模型领域没啥进展的互联网大厂，不少已经悄悄的撤掉了AI部门的投入，或是转向可应用的垂类小模型。
不是中国 AI 圈穷，而是全球 AI 圈都真的没钱了——大模型就像个“碎钞机”。
（2）转型之路：硬件贵嘛，算法层面降低成本
各家疯狂投入大模型，继续采用Transformer技术，算力需求将水涨船高。不少家在技术路径上东起了心思，从优化软件算法层面开始反水了，其中最重要的就是MoE结构。
MoE全称Mixture of Experts，是一种神经网络模型。这个模型最大的优势就是可扩展性强，它允许我们在保持性能的同时，降低推理成本。将神经网络拆分为多个子网络，让它们共同处理一个输入，然后通过权重综合得出结果。这样的结构，既可以提高模型的训练和推理速度，又可以降低训练不稳定的风险。
不过，MoE架构也充满挑战：扩展性强，推理成本低，训练速度快，性能优秀，但需要解决“专家”网络训练不均衡的问题。
最主要的问题就是如何保证每个“专家”都能得到充分训练。为了解决这个问题，引入了一个门控网络(Gate Network)，通过它来调控哪些“专家”参与回答以及他们的权重。
但是，如果门控网络倾向于选择某些特定的“专家”，可能会导致其他“专家”得不到充分的训练，从而造成训练不稳定。
目前，通过公开信息看越来越多的大模型正在转头MoE阵营。这对英伟达来说，不仅是扇耳光，还是背刺一刀。
月初，一公司发布的JetMoE模型能够以在10万美元的训练成本达到媲美LLaMA2级别的性能。
马斯克：公布3400亿大模型Grok-1就是采用MoE架构，而且很早提出自己干芯片TPU。
openAI：此前市场还猜测训练gpt4的时用了MoE架构，现在实锤，openAI确实采用了这一架构，并会在gpt5中继续使用。
Google、APUS、达观、阶跃星辰等都纷纷发布了自己 MoE技术路线的模型。
Meta：好像是，日前推出的号称“GPT-4级”开源模型Llama 3，依旧用的老架构Transformer技术，对英伟达芯片预计保持不变。坏消息是，Meta官方称，公司可能很快就会在自研芯片上训练大模型，但Llama-4可能还无法做到。
谷歌：谷歌新MoD架构，节省更多计算资源。日前谷歌的Mixture-of-Depths（MoD），通过动态分配大模型中的FLOPs（运算次数或计算资源），优化不同层次模型深度中的分配，限制给定层的自注意力和MLP计算的token数量，MoD可跳过一些不必要计算，迫使神经网络学会主要关注真正重要的信息，实现只给需要准确预测的token分配更多计算资源，从而显著提高训练效率和推理速度。
例如，虽然预测下一个句子的内容很难，但预测句子结束的标点符号很简单，如果给两者分配同样的计算资源，那么后者明显会浪费资源、而MoD则可避免这种情况。
据谷歌方面发布的相关测试结果显示，在等效计算量和训练时间上，MoD每次向前传播所需的计算量更小，而且后训练采样过程中步进速度提高50%。
谷歌研究团队还探讨了MoD和MoE结合的可能性MoDE，而且结果表明而这一结合能提供更好的性能和更快的推理速度。
（3）摒弃之路：不玩 MoE，就搞小模型
主要是押注AI PC，厂商需要低降本反应速度高的模型。这趟列车已经绑定了太多的人：高通、英特尔、三星、联想……以及一系列基础模型厂商、模型中间件厂商。
小模型的需求会越发成为刚需（插个题外话：同时高性能存储愈发重要起来），对英伟达的高端算力需求，短期内可能出现下滑，但对于消费级GPU市场反而可能是好事。
（4）需求方微缩风险：GPT5若一骑绝尘，下游部分客户可能退出
当前的百花争艳难以为继，对英伟达来讲算得上好事，至少大公司们、风险资本愿意掏钱，商业股市还能讲。
GPT5表现太好的话，总体需求减少、客户话语权增强，对干硬件的公司就不是好事了。
GPT-5，作为AI届的“当红炸子鸡”，现在正在进行红队测试，预计将于今年夏天正式出道。GPT-5依旧会采用MoE架构，参数规模预计会达到数百万亿级别。
在商业模式方面，GPT-5将更多的向AI Agent靠拢，注重与真实应用场景的融合，并将支持更多长任务链应用。此外，GPT-5还会简化面向企业的定制化微调流程，并在内容生成、问答、流程自动化等场景的应用广度和深度上加大力度，可以说是非常“接地气”了。
小结：
英伟达是一家优秀的公司，只不过所有优秀的公司在行业大趋势面前，在商业定律面前都逃不开漩涡。