预训练的Scaling Law曾是推动大模型发展的重要法则，它表明模型性能与模型规模、数据集大小和计算资源之间存在幂律关系，即随着这三者的增加，模型性能会相应提升。通俗讲就如学英语，背100个单词只能蹦单词，背1000个单词能组句子，背1万个单词可能就懂语法和隐喻了，这就是 “学得多 = 能力强” 的朴素 Scaling Law。