转:
Scaling Law是AI模型训练过程中的一个重要经验性发现。简而言之，这一法则揭示了随着数据量的增加，三个关键因素—模型大小、数据量、以及训练时间（计算量）—的增长能够不断地提升模型性能。这种性能提升遵循一个对数规律，即loss随着这三个因素的指数提升而线性下降。
在传统的小模型中，性能往往会随着训练次数的增加而趋于饱和，甚至出现过拟合的情况，导致性能不升反降。然而，Scaling Law的发现表明，对于大模型，通过增加数据量、扩大模型规模以及延长训练时间，可以实现模型性能的持续提升。
网页链接
$中兴通讯(SZ000063)$ $罗博特科(SZ300757)$