1 最近比较重要的新闻是 $Meta(META)$ 发布了 llama3 开源模型。 70b参数的分数，已经超过了Claude sonnet。
llama3模型，和2代模型最大区别是 训练数据多了7倍。 这提示我们，训练数据要比参数重要很多，同样多的参数，数据量的增加，模型性能可能会得到大幅提升。
2 llama3 400b参数的模型分数，已经赶上了gpt-4 ，但其实对比70b模型，mmlu分数只提高了4分。因此参数规模和模型性能的并不是线性增长的比例，和训练数据的关系更大。训练大模型只堆参数的scaling law可能并不一定好使，数据才是最关键的。
