由于大语言模型的训练需要巨大的计算资源，通常不可能多次迭代大语言模型预训练。千亿级参数量的大语言模型每次预训练的计算需要花费数百万元人民币。因此，在训练大语言模型之前，构建一个准备充分的预训练语料库尤为重要。
download:kuxueit.cn/9291/
自然语言处理的局限性 自然语言处理（Natural Language Processing, NLP）是人工智能领域（AI）的一个重要分支，其发展已经有数十年的历史。NLP旨在使计算机能够理解、处理和生成人类语言，为实现智能对话系统奠定了基础。 在NLP技术演进前期，NLP主要基于规则、统计模型等实现，所以传统的NLP技术存在一些局限性，例如对复杂语境的理解能力不足、生成自然流畅文本的难度较大等。 所以在ChatGPT出现之前，虽然已经产生了非常多智能聊天工具，但是只可以完成简单、生硬、且固定模板下的对话。原因就在于自然语言处理的局限性。
机器学习的崛起 机器学习（Machine Learning, ML）也是AI领域的一个重要分支，随着机器学习技术的不断进步和普及，NLP领域也迎来了新的机遇。 机器学习技术主要包括无监督学习，和有监督学习。通过大规模数据的学习和模式识别，使得计算机能够更好地理解和处理自然语言。 传统的NLP任务，如文本分类、命名实体识别等，开始采用机器学习方法，取得了显著的进展。然而，传统的机器学习方法在处理复杂的自然语言任务时仍然存在一些挑战，例如需要手动提取特征、模型泛化能力有限等。
基础模型 Transformer
